[論文レビュー] Physics-Informed Computer Vision: A Review and Perspectives

Chayan Banerjee, Kien Nguyen+2 more|arXiv (Cornell University)|May 29, 2023

Cell Image Analysis Techniques被引用数 4

ひとこと要約

本論文は、データ、ネットワークアーキテクチャ、または損失関数の変更を通じて物理法則をコンピュータビジョンパイプラインに統合することにより、物理的知見を組み込んだコンピュータビジョン（PICV）の体系的で分類可能な枠組みを提示する。流体動力学、電磁モデル、運動制約などの物理的事前知識が、3次元再構築、人間の運動分析、動画予測などのタスクにおいて、モデルの頑健性、データ効率性、物理的妥当性を向上させることをレビューする。

ABSTRACT

The incorporation of physical information in machine learning frameworks is opening and transforming many application domains. Here the learning process is augmented through the induction of fundamental knowledge and governing physical laws. In this work, we explore their utility for computer vision tasks in interpreting and understanding visual data. We present a systematic literature review of more than 250 papers on formulation and approaches to computer vision tasks guided by physical laws. We begin by decomposing the popular computer vision pipeline into a taxonomy of stages and investigate approaches to incorporate governing physical equations in each stage. Existing approaches in computer vision tasks are analyzed with regard to what governing physical processes are modeled and formulated, and how they are incorporated, i.e. modification of input data (observation bias), modification of network architectures (inductive bias), and modification of training losses (learning bias). The taxonomy offers a unified view of the application of the physics-informed capability, highlighting where physics-informed learning has been conducted and where the gaps and opportunities are. Finally, we highlight open problems and challenges to inform future research. While still in its early days, the study of physics-informed computer vision has the promise to develop better computer vision models that can improve physical plausibility, accuracy, data efficiency, and generalization in increasingly realistic applications.

研究の動機と目的

• 純粋にデータ駆動のコンピュータビジョンモデルには、物理的妥当性、解釈可能性、およびスパarselyまたはノイズの多いデータ下での一般化能力に欠けるという限界があるため、それを是正すること。
• コンピュータビジョンパイプラインの段階に物理法則を体系的に統合できる統一されたフレームワークを確立すること。
• 分類、セグメンテーション、人混み分析の分野において、物理的事前知識がまだ十分に活用されていないことから、現在のPICV応用におけるギャップを特定すること。
• 画像処理、人間の運動、ロボット工学、3次元再構築の分野における物理的知見を組み込んだ手法の包括的レビューを行い、有効な戦略と未解決の課題を浮き彫りにすること。
• PICV手法の公平な評価と比較を可能にするため、標準化されたベンチマークプラットフォームの導入を提唱すること。

提案手法

• 観測バイアス（入力データの変更）、誘導バイアス（ネットワークアーキテクチャの変更）、学習バイアス（損失関数の変更）の3つの統合戦略に基づく物理的知見を組み込んだコンピュータビジョン（PICV）の分類体系を提唱する。
• タイプ別に物理的事前知識を分類する：例えば、流体動力学にはナビエ＝ストークス方程式、画像処理にはマクスウェル方程式、3次元再構築には幾何的制約、人間の運動には運動制限が含まれる。
• 物理法則のエンコード方法を分析する：例えば、PDE制約付き学習で損失関数に明示的な方程式を組み込む、正則化項として用いる、補助的入力としてネットワークに与えるなど。
• 分野別事例のレビュー：幾何的事前知識を用いたNERFベースの3次元再構築、解剖学的関節制限を組み込んだ姿勢推定、エントロピーと秩序パラメータを用いた人混みの運動モデリング。
• 物理的知見を組み込んだ機械学習（PIML）の知見をコンピュータビジョンに統合し、PDE制約付きニューラルネットワークや物理的ガイド付き生成モデルを視覚的データモダリティに適応する。
• パイプラインベースのフレームワークを用いて、物理的事前知識を具体的なコンピュータビジョン段階（例：特徴抽出、回帰、生成）にマッピングし、統合ポイントの体系的分析を可能にする。

Figure 1 . (a) Timeline of PICV papers published over the last five years, where the histogram presents a exponentially increasing trend, (b) Application domains of recent PICV papers. The most applied domain is fluid and solid mechanics closely followed by imaging and photonics applications. While

実験結果

リサーチクエスチョン

• RQ1 物理法則をコンピュータビジョンパイプラインの異なる段階に体系的に統合することで、モデルの性能と物理的整合性をどのように向上させられるか？
• RQ2 流体動力学、電磁モデル、運動制約などの物理的事前知識のうち、どのタイプが異なるコンピュータビジョンタスクにおいて最も効果的か？
• RQ3 観測バイアス、誘導バイアス、学習バイアスは、視覚タスクにおけるモデルの精度、データ効率性、一般化性能にどのように異なる影響を与えるか？
• RQ4 画像分類、セマンティックセグメンテーション、人混み分析の分野では、物理的知見を組み込むアプローチが潜在的メリットがあるにもかかわらず、なぜ採用が限定的なのか？
• RQ5 分野固有のデータセットと標準化されたプラットフォームの欠如により、PICVモデルのベンチマークと評価に直面する主な課題は何か？

主な発見

• 過去5年間でPICV関連論文の数は急増しており、特に流体・固体力学分野での採用が最も高く、次いで画像処理とフォトンイクス応用分野が続く。
• 物理的知見を組み込んだモデルは、特に高次元またはデータが乏しい状況（例：3次元再構築、人間の運動分析）において、データ効率性と一般化性能が向上する。
• 人間の運動追跡において、関節制限や運動的一致性といった物理的制約を組み込むことで、姿勢推定の精度と時間的整合性が向上する。
• PDE（例：ナビエ＝ストークス方程式や熱伝導方程式）を強制するような物理的知見を組み込んだ損失関数は、動画予測やスーパーレゾリューションタスクにおいて、より物理的妥当性の高い予測をもたらす。
• 進展は見られるものの、分類、セグメンテーション、人混み分析分野では、生成や予測タスクと比較して物理的事前知識が著しく未活用のままであるという、顕著な研究ギャップが残っている。
• 標準化されたベンチマークプラットフォームの欠如により、PICV手法の公平な比較と再現性が阻害されており、分野の進展と採用を制限している。

Figure 2 . A simplified illustrative example of physics incorporation in a CV task, adapted from (Behera et al . , 2021 ) . Here the physics in the form of flow information is extracted from the data/ video segment sequence and incorporated in an aggregating network (PIDLNet).