[論文レビュー] PhaseDNN - A Parallel Phase Shift Deep Neural Network for Adaptive Wideband Learning

Wei Cai, Xiaoguang Li+1 more|arXiv (Cornell University)|May 3, 2019

Neural Networks and Applications参考文献 6被引用数 6

ひとこと要約

PhaseDNNは、帯域幅が広い関数の高周波成分を均一かつ適応的に学習可能にするために周波数ドメインにおける位相シフトを用いる並列ディープニューラルネットワークフレームワークを導入する。残差誤差を位相乗算によって低周波に移動させることで、アンサンブル内の各DNNは高速に低周波に収束し、全周波数帯域にわたり複雑で高次元な関数の効率的近似を実現する。

ABSTRACT

In this paper, we propose a phase shift deep neural network (PhaseDNN) which provides a wideband convergence in approximating a high dimensional function during its training of the network. The PhaseDNN utilizes the fact that many DNN achieves convergence in the low frequency range first, thus, a series of moderately-sized of DNNs are constructed and trained in parallel for ranges of higher frequencies. With the help of phase shifts in the frequency domain, implemented through a simple phase factor multiplication on the training data, each DNN in the series will be trained to approximate the target function's higher frequency content over a specific range. Due to the phase shift, each DNN achieves the speed of convergence as in the low frequency range. As a result, the proposed PhaseDNN system is able to convert wideband frequency learning to low frequency learning, thus allowing a uniform learning to wideband high dimensional functions with frequency adaptive training. Numerical results have demonstrated the capability of PhaseDNN in learning information of a target function from low to high frequency uniformly.

研究の動機と目的

• ターゲット関数の高周波成分を学習する際の標準DNNの収束遅延を解消すること。
• F-Principle（DNNが最初に低周波を学習するという性質）を活用することで、深層学習における周波数依存収束ボトルネックを克服すること。
• 元の訓練データに位相変調を施すだけで、広帯域にわたり均一に学習可能なスケーラブルで並列なアーキテクチャを開発すること。
• 周波数帯域の再順序付けや選択を可能にすることで、周波数適応的かつ空間適応的近似を実現すること。
• 単一の大規模DNNと比較して、高次元で広帯域の関数に対する訓練効率と精度を向上させること。

提案手法

• 各DNNが前回の近似後の残差誤差の異なる周波数帯域を担当する、中程度のサイズのDNNの系列を並列に訓練する。
• 残差誤差に複素指数関数的要因 $ e^{ ext{--}ioldsymbol{ heta}_j x} $ を乗算することで、訓練データに位相シフトを適用し、高周波成分を低周波範囲に効果的にシフトする。
• 各DNNは位相シフトされたデータを学習することで、高周波成分をまるで低周波成分として学習しているかのように処理する。
• 周波数ドメイン（k空間）におけるユニティ分割を用いて、残差誤差を重複のない周波数帯域に分解し、的確な学習を可能にする。
• F-Principleを活用する：DNNが低周波成分を速やかに収束させるため、位相シフトにより高周波成分を扱うにもかかわらず、各DNNは迅速に学習を完了できる。
• ベクトル化計算と並列処理を活用して訓練を高速化し、畳み込みステップは総訓練時間の約20％を占める。

実験結果

リサーチクエスチョン

• RQ1 訓練データに位相シフトを施すことで、標準DNNが高周波成分を効率的に学習可能になるか、すなわち高周波学習タスクを低周波学習タスクに変換できるか？
• RQ2 広帯域関数近似において、PhaseDNNフレームワークは単一の大規模DNNと比較して収束速度と精度で優れているか？
• RQ3 特定の周波数帯域に限定して学習することで、PhaseDNNがどの程度周波数適応的学習を達成できるか？
• RQ4 位相シフトされたデータ変換中に aliasing（折り返しノイズ）を避けるために必要なデータ密度の条件は何か？
• RQ5 DNNを入力領域の特定の領域に局在化させることで、PhaseDNNアーキテクチャが空間適応的学習をサポートできるか？

主な発見

• PhaseDNNは全周波数帯域でテスト誤差0.06831を達成し、5000エポック経過しても収束しなかった単一の大規模DNN（損失約100）を著しく上回った。
• PhaseDNNシステム全体の訓練時間は1790.17秒（約29.8分）であり、8つの周波数帯域に分割して並列にDNNを訓練した。
• PhaseDNNフレームワーク内の各DNNはたった10エポックの訓練で十分であり、最も速いDNNは9.7秒、最も遅いDNNは34.43秒で、一貫した高速収束を示した。
• 本手法は $ ext{--}205 $ から $ 205 $ の高周波成分、特に $ ext{--}203 $ を正確に捉え、テストプロットで再構成が高精度で実現された。
• 位相シフトされた訓練データを計算するための畳み込みステップは、総訓練時間の約20％を占めており、高い計算効率を示している。
• PhaseDNNは空間的および周波数的適応性を実現しており、DNNは任意の順序で訓練可能であり、事前知識や応用ニーズに応じて特定の周波数または空間領域に特化して学習可能である。