[論文レビュー] Benchmarking deep inverse models over time, and the neural-adjoint method

Simiao Ren, Willie J. Padilla+1 more|arXiv (Cornell University)|Sep 27, 2020

Neural Networks and ApplicationsComputer Science参考文献 27被引用数 20

ひとこと要約

本稿では、深層逆問題モデルの時間依存的ベンチマークフレームワークを提案し、性能評価を単一の推定値ではなく、推論時間Tの関数として再定義する。ニューラル・アドジョイント（NA）法を導入し、前方モデルのニューラルネットワークサーヴァルと勾配ベース最適化によるランダム初期化からの最適化を採用。また、新規の境界損失を追加することで性能が著しく向上し、メタマテリアル設計を含む4つのベンチマークタスクで最先端の結果を達成した。

ABSTRACT

We consider the task of solving generic inverse problems, where one wishes to determine the hidden parameters of a natural system that will give rise to a particular set of measurements. Recently many new approaches based upon deep learning have arisen generating impressive results. We conceptualize these models as different schemes for efficiently, but randomly, exploring the space of possible inverse solutions. As a result, the accuracy of each approach should be evaluated as a function of time rather than a single estimated solution, as is often done now. Using this metric, we compare several state-of-the-art inverse modeling approaches on four benchmark tasks: two existing tasks, one simple task for visualization and one new task from metamaterial design. Finally, inspired by our conception of the inverse problem, we explore a solution that uses a deep learning model to approximate the forward model, and then uses backpropagation to search for good inverse solutions. This approach, termed the neural-adjoint, achieves the best performance in many scenarios.

研究の動機と目的

• 単一推定誤差ではなく、推論効率を反映する推論時間Tの関数としての性能評価に、深層逆問題モデルを再評価すること。
• x空間内での不完全な探索や最適解の局所化の不正確さといった、既存の逆問題モデルの限界を特定すること。
• 一般逆問題を解くためのシンプルで効率的な代替手法として、ニューラル・アドジョイント（NA）法を提案・評価すること。
• 新しい境界損失項がNA法の性能向上にどの程度有効であるかを実証すること。
• ボールスティックス、ロボットアーム、2次元サイン波、メタマテリアル設計を含む4つの多様な逆問題タスクにおける包括的ベンチマークを提供すること。

提案手法

• 本稿では、潜在ノイズzのT回のランダムサンプルにおける最小再シミュレーション誤差の期待値を測定する新しい指標$r_T$を導入し、推論時間の関数としての性能を捉える。
• ニューラル・アドジョイント（NA）法は、深層ニューラルネットワークを用いて前方モデルfを近似し、その後、$f(\hat{x})$のxに関する勾配を降下することでxを最適化する。
• NA法はxをx空間内のランダムな点から初期化し、勾配降下法を用いて局所最適解を探索する。ネットワークを微分可能シミュレータとして扱う。
• 最適化プロセスを正則化するため、新規の境界損失を導入し、解がx空間内の妥当または物理的に意味のある領域に留まるよう促進する。
• 高速なプロキシシミュレータを用いて、ボールスティックス、ロボットアーム、2次元サイン波、メタマテリアル設計の4つのベンチマークタスクで手法を評価する。
• すべてのモデルは1日間のGPU予算を固定して訓練され、$r_T$指標を用いてT値ごとの性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 現代の逆問題モデルの性能は、推論回数Tにどのように依存するか。また、これは単一推定指標の妥当性を疑問視するものか？
• RQ2 既存の逆問題モデルの主な失敗モードは、x空間の不完全な探索か、最適解の局所化の不正確さのどちらか？
• RQ3 前方モデルのニューラルネットワークサーヴァルを用いたシンプルな微分可能最適化アプローチが、複雑な深層生成モデルを上回る性能を発揮できるか？
• RQ4 提案された境界損失は、ニューラル・アドジョイント法の収束性と精度向上にどの程度有効か？
• RQ5 NA法に境界損失を組み合わせることで、多様な逆問題ベンチマークで最先端の性能が達成されるか？

主な発見

• 境界損失を備えたNA法は、4つのベンチマークタスクすべてで最良またはほぼ最良の性能を達成した。特に、挑戦的なメタマテリアル設計タスクでも同様の結果を示した。
• メタマテリアル設計タスクでは、T=1の時点で再シミュレーション誤差が$2.50 \times 10^{-4}$にまで低下し、cVAE（$8.60 \times 10^{-3}$）とINN（$3.89 \times 10^{-2}$）を上回った。
• NA法は最大1900万パラメータを要するcVAEと比較して、0.5～310万パラメータで十分であり、モデルサイズが著しく小さく、学習速度も速かった（例：D1:Ballisticsでは86秒対987秒）。
• 境界損失により、2次元サイン波タスクなど一部のタスクでNAの平均再シミュレーション誤差が最大1桁低下した。境界損失なしでは$1.18 \times 10^{-3}$であったが、境界損失ありでは$7.56 \times 10^{-1}$にまで低下した。
• $r_T$指標により、モデル性能がTに強く依存していることが明らかになった。一部のモデル（例：cVAE）は低Tで性能が低かったが、サンプル数を増やすことで改善した。これは、現在の評価手法の限界を浮き彫りにした。
• 高速な前方評価用プロキシシミュレータはコードと共に公開され、再現性と今後のベンチマークに貢献した。