[論文レビュー] Blending Diverse Physical Priors with Neural Networks

Yunhao Ba, Guangyuan Zhao+1 more|arXiv (Cornell University)|Oct 1, 2019

Neural Networks and Applications参考文献 50被引用数 33

ひとこと要約

本論文は PhysicsNAS を提案する。物理的事前知識とニューラルネットワークを組み合わせる微分可能なニューラルアーキテクチャ探索法で、さまざまなデータとモデルの精度に跨る物理ベースの学習を改善する。

ABSTRACT

Machine learning in context of physical systems merits a re-examination of the learning strategy. In addition to data, one can leverage a vast library of physical prior models (e.g. kinematics, fluid flow, etc) to perform more robust inference. The nascent sub-field of \emph{physics-based learning} (PBL) studies the blending of neural networks with physical priors. While previous PBL algorithms have been applied successfully to specific tasks, it is hard to generalize existing PBL methods to a wide range of physics-based problems. Such generalization would require an architecture that can adapt to variations in the correctness of the physics, or in the quality of training data. No such architecture exists. In this paper, we aim to generalize PBL, by making a first attempt to bring neural architecture search (NAS) to the realm of PBL. We introduce a new method known as physics-based neural architecture search (PhysicsNAS) that is a top-performer across a diverse range of quality in the physical model and the dataset.

研究の動機と目的

• 部分的に知られている物理的事前知識とデータ駆動推論を組み合わせる動機づけを行い、頑健性と一般化性能を向上させる。
• データ品質と物理精度を同時に考慮する、汎用的なアーキテクチャ検索フレームワークを開発する。
• 物理入力、物理演算セット、およびエッジ重み正規化を取り入れた探索空間とトレーニングプロトコルを作成する。
• 物理とデータ品質が異なるタスクで、PhysicsNAS が手動設計の PBL 手法を上回ることを示す。

提案手法

• ネットワークに物理入力を追加することで、微分可能 NAS を物理ベースの学習へ拡張する。
• ニューラルと専用の物理前方演算を含む、物理情報を組み込んだ演算セットを取り入れる。
• 物理演算子によって生じる自由度の差を緩和するため、エッジ選択をエッジ重みで正規化する。
• アーキテクチャパラメータの最適化と標準的なネットワーク重みの最適化を交互に行う2段階のトレーニングプロセスを使用する。
• 事前知識が不整合な2つのシミュレートされた物理タスク（投げ軌道と衝突速度）で評価する。
• 検索されたアーキテクチャの分析と、それらが物理的事前情報と純粋なデータ駆動コンポーネントをどのように活用するかを提供する。）

実験結果

リサーチクエスチョン

• RQ1 NAS を適応させて、物理的事前情報とトレーニングデータの品質が変動しても耐える PBL アーキテクチャを自動的に発見できるか？
• RQ2 物理情報を取り入れたアーキテクチャは、モデル不一致やデータ入手性の異なるタスクにおいて、手作業で設計された PBL モデルを上回るか？
• RQ3 物理入力、演算、およびエッジ重み付けをどのように設計すべきか、 priors を NAS に効果的に組み込むには？

主な発見

• PhysicsNAS は、タスクと不一致条件を問わず、手動設計の PBL 手法を一貫して上回り、改善はシナリオごとに変動する。
• PhysicsNAS アーキテクチャは、検索 design のすべてで物理入力を使用する傾向があり、事前の物理情報を組み込む価値を裏付けている。
• 物理演算の選択は物理的事前情報とデータの質に依存し、物理が不完全な場合は残差接続が好まれることが多い。
• PhysicsNAS はデータ要件を削減し、トレーニングサンプル数が少ない場合でも同等の性能を達成する（例：未設計のMLPで256サンプルに対し、<64サンプル）。
• 収束した PhysicsNAS アーキテクチャは、信頼できる場合には正確な物理演算を埋め込むなどの原則を示し、事前情報がノイズの多い場合には残差または融合戦略を好む。