[論文レビュー] Variable-Input Deep Operator Networks

Michael Prasthofer, Tim De Ryck+1 more|arXiv (Cornell University)|May 23, 2022

Domain Adaptation and Few-Shot Learning被引用数 8

ひとこと要約

この論文では、学習およびテストサンプル間でセンサーの配置と数が可変であることを許容する、新しいオペレータ学習フレームワークである変数入力ディープオペレーターネットワーク（VIDON）を紹介する。VIDONは、Sobolev空間への連続的オペレーターに対する置換不変性と汎用近似性を実現し、偏微分方程式（PDE）由来のオペレーターに対しては、有効な近似の理論的保証を備え、Darcy流れ、Allen-Cahn方程式、ナビエ＝ストークス方程式を含む多様なPDEにおいて優れた実験的性能を示す。

ABSTRACT

Existing architectures for operator learning require that the number and locations of sensors (where the input functions are evaluated) remain the same across all training and test samples, significantly restricting the range of their applicability. We address this issue by proposing a novel operator learning framework, termed Variable-Input Deep Operator Network (VIDON), which allows for random sensors whose number and locations can vary across samples. VIDON is invariant to permutations of sensor locations and is proved to be universal in approximating a class of continuous operators. We also prove that VIDON can efficiently approximate operators arising in PDEs. Numerical experiments with a diverse set of PDEs are presented to illustrate the robust performance of VIDON in learning operators.

研究の動機と目的

• FNO や DeepONet などの既存のオペレータ学習フレームワークが、すべてのサンプルで固定されたセンサー位置と数を必要とすることという制限を解決すること。
• 測定ノイズ、デバイスの故障、または異なる空間的・時間的解像度のため、センサー構成が変動する実世界データからのオペレーターのロバストな学習を可能にすること。
• センサー入力の順序を入れ替えても出力に影響がないように、置換不変性を保証すること。これは、入力データの関数的性質を反映するためである。
• 連続的オペレーターがSobolev空間に写像する場合の汎用近似能力を維持する理論的根拠に基づいたアーキテクチャの開発。
• Darcy流れ、Allen-Cahn方程式、ナビエ＝ストークス方程式など、さまざまなPDEに対して、センサー配置が変動する状況下で、包括的な数値実験を通じて本フレームワークの有効性を実証すること。

提案手法

• 可変長のセンサーデータを処理できる、トランスフォーマーにインspiredしたアーキテクチャであるVIDONを提案。マルチヘッドアテンション機構を用いる。
• 座標とセンサー位置のエンコーディングを統合し、任意のセンサー配置と数を扱えるようにする。
• 共通のトランクネットワークを用いて、アテンションされた特徴量を出力ドメイン内の任意の評価点における関数値にマップする。
• アーキテクチャを構成上、置換等変性（permutation-equivariant）にすることで、センサー順序に関係なく一貫した出力を保証する。
• アテンション機構において、可学習なクエリ、キー、バリューのプロジェクションを採用し、関連するセンサー入力を動的に注目できるようにする。
• 学習率スケジューリングと重み減衰を用いた標準的な最適化手法でモデルを訓練し、問題とセンサーカンfigレーションごとにハイパーパrameterを調整する。

実験結果

リサーチクエスチョン

• RQ1 入力センサーの数や配置が可変であっても、一般化性と不変性を維持できるようなディープオペレーターネットワークを設計できるか？
• RQ2 可変なセンサーカンフィギュレーション下でも、Sobolev空間への連続的オペレーターに対するVIDONの汎用近似能力は保証されるか？
• RQ3 PDE由来のオペレーターに対して、ネットワークサイズが所望の精度の逆数の多項式的に増加する範囲で、VIDONは効率的な近似レートを達成できるか？
• RQ4 センサー構成が学習データとテストデータで変動する状況下で、VIDONはFNO や DeepONet と比較して実際の性能で優れているか？
• RQ5 欠損センサー、ランダム配置、不規則なサンプリングパターンを含む実世界データに対しても、VIDONは性能劣化を伴わずに一般化できるか？

主な発見

• 入力センサーの配置と数がサンプル間で変動しても、VIDONはSobolev空間への連続的オペレーターに対して汎用近似を達成する。
• 理論的分析により、VIDONがPDE由来のオペレーターを効率的に近似できることを示し、ネットワークサイズが目標精度の逆数の多項式的増加にとどまることを保証する。
• 数値実験では、可変なランダムセンサー配置を伴うナビエ＝ストークス方程式に対して、VIDONは8.28% ± 0.03%のテスト誤差を達成し、ベースラインモデルを上回るか同等の性能を示した。
• Darcy流れ、Allen-Cahn方程式、ナビエ＝ストークス方程式といった多様なPDEにおいて、不規則な、欠損のある、またはランダムに配置されたセンサー下でも、VIDONはロバストな性能を維持した。
• 可変なセンサーカンフィギュレーションでの学習は、適切な学習率と重み減衰の調整により、実行可能で安定していた。
• 出力ドメインの評価点の数に応じて実行時間が著しく変動し、特にトランクネットワークを多数の異なる位置で評価する必要がある場合に顕著であった。