[論文レビュー] SwitchNet: a neural network model for forward and inverse scattering problems

Yuehaw Khoo, Lexing Ying|arXiv (Cornell University)|Oct 23, 2018

Geophysical Methods and Applications参考文献 16被引用数 9

ひとこと要約

SwitchNet は、全結合接続の代わりに低ランクでスパースなスイッチング層を採用することで、ヘルムホルツ方程式の前方および逆散乱写像を効率的に学習する新しいニューラルネットワークアーキテクチャです。これにより、パrameter数を大幅に削減しながら、散乱体の再構築や散乱場の予測において高い精度を維持しています。

ABSTRACT

We propose a novel neural network architecture, SwitchNet, for solving the wave equation based inverse scattering problems via providing maps between the scatterers and the scattered field (and vice versa). The main difficulty of using a neural network for this problem is that a scatterer has a global impact on the scattered wave field, rendering typical convolutional neural network with local connections inapplicable. While it is possible to deal with such a problem using a fully connected network, the number of parameters grows quadratically with the size of the input and output data. By leveraging the inherent low-rank structure of the scattering problems and introducing a novel switching layer with sparse connections, the SwitchNet architecture uses much fewer parameters and facilitates the training process. Numerical experiments show promising accuracy in learning the forward and inverse maps between the scatterers and the scattered wave field.

研究の動機と目的

• 時間調和的音響散乱問題における散乱体と散乱波場の間のグローバルかつ非局所的な写像を学習する課題に対処すること。
• 局所的接続に依存する標準的な畳み込みネットワークの限界を克服し、長距離にわたる波動伝搬効果を捉えること。
• 入力サイズに比例して二乗的に増加する通常の全結合ネットワークのパrameter数を、散乱作用素に見られる低ランク構造を活用することで削減すること。
• グローバルな情報伝達を可能にしながら計算効率を維持する、トレーニング可能なスパーススイッチング層を開発すること。
• 2次元における時間調和的音響散乱問題において、前方（$\eta \rightarrow d$）および逆（$d \rightarrow \eta$）写像をエンドツーエンドで学習可能にすること。

提案手法

• バタフライ因子分解にインspiredされた、入力と出力特徴の間でグローバルかつスパースな接続を実現する新しいスイッチング層を導入すること。
• 散乱作用素の低ランク近似を用いて、スイッチング層を $O(N \log N)$ の複雑さに構造化し、$O(N^2)$ に比べて高速化すること。
• 逆写像（$d \rightarrow \eta$）と前方写像（$\eta \rightarrow d$）の両方を処理する2本のブランチ構造を採用し、共通部品を共有すること。
• 周波数依存スケーリングをモデル化し、表現能力を向上させるために、ポイントワイド乗算（PM）層を組み込むこと。
• 両方の前方および逆ネットワークで階層的特徴を抽出するために、可学習フィルタを有する一連の畳み込み層を適用すること。
• 次元整合性を保つために、スイッチング層と畳み込みブロックの間でベクトル化およびリシェイピング操作を実施すること。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークアーキテクチャは、時間調和的音響散乱における散乱体と散乱波場の前方および逆写像を効果的に学習できるか？
• RQ2 散乱体が散乱場に及ぼすグローバルな影響を扱うには、どのように局所的接続の仮定に反するアーキテクチャを設計できるか？
• RQ3 散乱作用素に見られる低ランク構造を活用することで、全結合ネットワークのパrameter数をどの程度削減できるか？
• RQ4 トレーニング可能なスパーススイッチング層が、精度を維持しながら全結合層を逆散乱問題で置き換えられるか？
• RQ5 提案されたSwitchNetは、地震画像法および遠方パターン再構築において、異なる散乱体構成やノイズレベルにわたってどの程度一般化性能を示すか？

主な発見

• 地震画像法設定において、$n_s = 3$ 個の散乱体に対して、SwitchNetは前方写像の予測誤差が 7.7e-02（相対誤差）を達成した。
• 逆写像は $n_s = 3$ の場合にテスト誤差 2.2e-02 を達成し、散乱データから散乱体を再構築する際の優れた一般化性能を示した。
• $n_s = 4$ 個の散乱体では、逆写像の誤差が 5.1e-02 に増加したが、これはやや複雑性の上昇によるものであり、依然として許容範囲内であった。
• 図7の可視化比較では、複雑な構成に対しても、SwitchNetが散乱場および散乱体分布を正確に再構築していることが示された。
• モデルはわずか 290万パラメータで構成されており、スパーススイッチング層と低ランク構造のおかげで、全結合ネットワークに比べて顕著に少ない。
• このアーキテクチャは高周波数の波動場を効果的に捉え、反復的PDEソルバーを必要とせずエンドツーエンド学習を可能にし、従来の逆散乱手法に代わる高速な代替手法を提供している。