[論文レビュー] A Phase Shift Deep Neural Network for High Frequency Approximation and Wave Problems

Wei Cai, Xiaoguang Li+1 more|arXiv (Cornell University)|Sep 23, 2019

Model Reduction and Neural Networks参考文献 11被引用数 7

ひとこと要約

本稿では、周波数領域における位相シフトを活用することで、高周波数関数および波動解に対して一様な広帯域収束を実現する新しいアーキテクチャ、位相シフト深層ニューラルネットワーク（PhaseDNN）を提案する。高周波数成分を低周波数帯に変換することで、標準的なDNNが振動関数を効率的に学習可能となり、最小限の学習イテレーションで不均一媒質におけるヘルムホルツ方程式の解を高精度に近似できる。

ABSTRACT

In this paper, we propose a phase shift deep neural network (PhaseDNN), which provides a uniform wideband convergence in approximating high frequency functions and solutions of wave equations. The PhaseDNN makes use of the fact that common DNNs often achieve convergence in the low frequency range first, and a series of moderately-sized DNNs are constructed and trained for selected high frequency ranges. With the help of phase shifts in the frequency domain, each of the DNNs will be trained to approximate the function's higher frequency content over a specific range at the the speed of convergence as in the low frequency range. As a result, the proposed PhaseDNN is able to convert high frequency learning to low frequency one, allowing a uniform learning to wideband functions. The PhaseDNN will then be applied to find the solution of high frequency wave equations in inhomogeneous media through both differential and integral equation formulations with least square residual loss functions. Numerical results have demonstrated the capability of the PhaseDNN in learning high frequency functions and oscillatory solutions of interior and exterior Helmholtz equations.

研究の動機と目的

• 高周波数関数や振動的波動解を近似する際、深層ニューラルネットワーク（DNN）における収束性の悪さという課題に対処すること。
• 標準的なDNNが学習中に低周波数成分を優先する周波数依存の収束行動を克服すること。
• あらゆる周波数範囲にわたって一様に学習可能なDNNアーキテクチャを開発すること。
• 最小二乗残差最小化手法を用いて、不均一媒質における高周波数波動方程式を効率的に解くこと。

提案手法

• PhaseDNNは周波数領域における位相シフトを用い、高周波数成分をDNNが高速に収束する低周波数帯に変換する。
• 並列型PhaseDNNアーキテクチャは、学習データを周波数帯に分解し、位相シフトを適用した後、各シフトされた帯域ごとに別個のDNNを学習する。
• 周波数分解のコストを回避するために、位相シフトをネットワーク構造に直接埋め込んだカップルドPhaseDNN定式化を導入する。
• 最小二乗残差損失関数を用いて、ヘルムホルツ方程式の微分および積分的定式化を解く。
• 理論的分析により、位相シフトパラメータηが0に近づくにつれて、DNN間のクロス周波数干渉が減少することが示された。
• 損失関数は、シフトされた周波数帯ごとの個別損失の和として近似可能であり、低周波数変換関数に対するDNNの独立学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 周波数領域における位相シフトにより、高周波数学習を低周波数学習に変換し、あらゆる周波数帯で一様な収束を実現できるか？
• RQ2 高周波数成分に対しても収束が速くなるようにDNNをどのように構築すればよいか？（過剰な学習エポックを必要とせずに。）
• RQ3 位相シフトパラメータが、波動方程式の近似誤差および収束行動に与える影響は何か？
• RQ4 カップルドPhaseDNN定式化は、周波数分解の計算コストを回避しつつも、精度を維持できるか？
• RQ5 PhaseDNNは、ヘルムホルツ方程式の高振動的解を近似する際、標準DNNをどの程度上回るか？

主な発見

• PhaseDNNは、位相シフトによる高周波数成分の低周波数帯への変換により、あらゆる周波数帯で高速に学習可能な一様な広帯域収束を達成する。
• 数値結果により、PhaseDNNが高周波数関数および内部・外部両方のヘルムホルツ方程式の振動的解を高精度に近似できることを示した。
• カップルドPhaseDNN定式化により、高価な周波数分解を回避でき、高次元問題へのスケーラビリティが向上した。
• 理論的分析により、位相シフトパラメータηが0に近づくにつれて、DNN間のクロス周波数干渉が減少することが確認された。
• 損失関数の近似により、総損失がシフトされた周波数帯ごとの独立損失の和に還元されることを示し、分離戦略の妥当性が裏付けられた。
• 本手法により、高振動的コンテンツを有する不均一媒質における波動方程式が、収束速度と精度の両面で標準DNNを上回る効率的な解法が可能となった。