[論文レビュー] HybridNet: Integrating Model-based and Data-driven Learning to Predict Evolution of Dynamical Systems

Yun Long, Xueyuan She+1 more|arXiv (Cornell University)|Jun 19, 2018

Neural Networks and Applications参考文献 21被引用数 25

ひとこと要約

HybridNetは、外部摂動の予測にデータ駆動型ConvLSTMと、連立PDEの解法にモデル駆動型セルラーニューラルネットワーク（CeNN）を融合するハイブリッドフレームワークを提案する。これにより、熱対流拡散および流体動力学系において、純粋にデータ駆動的な手法に比べて予測精度が著しく向上し、物理的パラメータのリアルタイム学習が可能となる。

ABSTRACT

The robotic systems continuously interact with complex dynamical systems in the physical world. Reliable predictions of spatiotemporal evolution of these dynamical systems, with limited knowledge of system dynamics, are crucial for autonomous operation. In this paper, we present HybridNet, a framework that integrates data-driven deep learning and model-driven computation to reliably predict spatiotemporal evolution of a dynamical systems even with in-exact knowledge of their parameters. A data-driven deep neural network (DNN) with Convolutional LSTM (ConvLSTM) as the backbone is employed to predict the time-varying evolution of the external forces/perturbations. On the other hand, the model-driven computation is performed using Cellular Neural Network (CeNN), a neuro-inspired algorithm to model dynamical systems defined by coupled partial differential equations (PDEs). CeNN converts the intricate numerical computation into a series of convolution operations, enabling a trainable PDE solver. With a feedback control loop, HybridNet can learn the physical parameters governing the system's dynamics in real-time, and accordingly adapt the computation models to enhance prediction accuracy for time-evolving dynamical systems. The experimental results on two dynamical systems, namely, heat convection-diffusion system, and fluid dynamical system, demonstrate that the HybridNet produces higher accuracy than the state-of-the-art deep learning based approach.

研究の動機と目的

• 物理的パラメータや外部力の不完全または不正確な知識がある動的システムにおける時空間的変化の予測という課題に対処すること。
• データ駆動型学習と物理ベースのモデリングを組み合わせることで、複雑で時間的に変化するシステムにおける耐障害的でリアルタイムの予測を実現するフレームワークの開発。
• システム運用中に未知の物理的パラメータ（例：密度、拡散係数）のリアルタイム学習と適応を可能にすること。
• 非線形動的システムにおける純粋にデータ駆動的なディープラーニング手法に比べ、予測精度と計算効率を向上させること。
• 効率的でハードウェア最適化された推論を活用し、モバイルおよびロボットプラットフォームへのリアルタイムデプロイを支援すること。

提案手法

• 移動する熱源や障害物などの時空間的パターンのモデリングと予測に、3次元テンソル演算を用いたConvLSTMを用いる。
• PDEの数値計算を反復的畳み込み演算に変換することで、PDEの可学習ソルバーとしてセルラーニューラルネットワーク（CeNN）を実装する。
• フィードバック制御ループを介してConvLSTMとCeNNを統合し、リアルタイムでのパラメータ学習とモデル適応を可能にする。
• CeNNソルバーを介したバックプロパゲーションを活用し、粘性係数や材料密度といった未知の物理的パラメータを明示的な勾配計算なしに学習する。
• TensorFlowなどの最適化されたディープラーニングフレームワークを活用し、CeNNの推論を高速化し、GPUおよび埋め込みアクセラレータへのデプロイを可能にする。
• ConvLSTMおよびCeNNの専用ASICを活用し、リアルタイムのロボットアプリケーションに適した10倍以上の高速化と1ワット未満の消費電力実現。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型とモデル駆動型のコンponentを統合したハイブリッド学習フレームワークは、パラメータに不確実性を含む動的システムにおける予測精度を向上させることができるか？
• RQ2 可学習PDEソルバー（CeNN）は、システムの進化中にリアルタイムで未知の物理的パラメータをどれほど効果的に学習できるか？
• RQ3 ConvLSTMとCeNNの統合は、複雑で非線形な動的システムの予測において、純粋にデータ駆動的なディープラーニングモデルに比べてどの程度優れているか？
• RQ4 システムパラメータ（例：流体密度）の急激な変化や徐々の変化に対し、最小限の推論遅延で適応できるか？
• RQ5 埋め込みプラットフォームにおけるロボットアプリケーションの観点から、HybridNetの計算効率とリアルタイム実行可能性はどの程度か？

主な発見

• PSNRおよび損失指標で測定した結果、HybridNetは熱対流拡散およびナビエ-ストークス流体系の両方において、純粋にデータ駆動的なConvLSTMモデルに比べて著しく高い予測精度を達成した。
• CeNNベースのPDEソルバーにより、流体密度などの未知の物理的パラメータのリアルタイム学習が可能となり、GPU上で急激な変化後数秒で収束した。
• 流体混合物の遷移などの徐々のパラメータ変化に対しても、CeNNモデルは真の物理的係数をきめ細かく追跡し、適応的学習能力を示した。
• GPU上では、熱系で50msのタイムステップあたり0.33秒、流体系で100msのタイムステップあたり3.03秒の実行時間であり、専用ASICを用いることで10倍の高速化が可能であった。
• ASIC加速により、熱系の総推論時間が5.9ms、流体系が41.2msに低下し、電力制限のあるロボットプラットフォームへのリアルタイムデプロイが可能になった。
• フレームワークは、小さな障害物の動きの変化に起因する渦の形成といった複雑な非線形ダイナミクスを正しく捉えたが、ConvLSTMオンリーモデルではその予測に失敗した。