[論文レビュー] Inverse Problems, Deep Learning, and Symmetry Breaking

Kshitij Tayal, Chieh-Hsin Lai+2 more|arXiv (Cornell University)|Mar 20, 2020

Advanced X-ray Imaging Techniques参考文献 27被引用数 11

ひとこと要約

この論文は、位相再構築やブラインドデコンボリューションなどの内在的対称性を持つシステムにおける逆問題を解くために深層ニューラルネットワークを訓練する課題に取り組み、同じ出力に対応する複数の入力が存在するため非一意性が生じる問題を扱う。本稿では、同値類の連結代表集合を用いたデータ拡張による対称性の破壊を提案し、従来のエンドツーエンド学習に比べて学習効率と性能が顕著に向上することを示す。

ABSTRACT

In many physical systems, inputs related by intrinsic system symmetries are mapped to the same output. When inverting such systems, i.e., solving the associated inverse problems, there is no unique solution. This causes fundamental difficulties for deploying the emerging end-to-end deep learning approach. Using the generalized phase retrieval problem as an illustrative example, we show that careful symmetry breaking on the training data can help get rid of the difficulties and significantly improve the learning performance. We also extract and highlight the underlying mathematical principle of the proposed solution, which is directly applicable to other inverse problems.

研究の動機と目的

• 前向きモデルにおける対称性が非一意解を引き起こすため、エンドツーエンドの深層学習において根本的な困難が生じる問題に対処すること。
• 深層学習における一般化の悪化が、モデル容量やハイパーパrameterの問題ではなく、対称性によって誘発される高周波数関数の近似の困難さに起因することを示すこと。
• 位相再構築などの逆問題において、学習効率と性能を向上させるための体系的な対称性の破壊手法を開発・検証すること。
• 同値類の連結代表集合を求める普遍的な数学的原則を特定し、広範な逆問題に適用可能な枠組みを提供すること。

提案手法

• システムの対称性群における各同値類から代表入力の集合を構築することで、対称性の破壊を実現し、重複を避けてカバーを確保すること。
• データ拡張を用いて、これらの代表入力を用いてネットワークを学習させ、損失関数の多様性を効果的に排除すること。
• 観測値から入力を学習する逆問題として定式化し、代表的サンプリングによる対称性の破壊を訓練データに反映させること。
• 一般化位相再構築（実数および複素ガウス）に本手法を適用し、合成データおよび制御されたデータを用いて性能を評価すること。
• 代表的データでエンドツーエンドに訓練されたニューラルネットワークを、標準的な訓練法およびベースライン手法と比較すること。
• ミニバッチサイズ、学習率、正則化の影響を分析し、性能の悪化の根本原因がハイパーパrameterの選択ではなく、対称性に起因する振動現象であることを特定すること。

実験結果

リサーチクエスチョン

• RQ1 十分なデータとモデル容量があるにもかかわらず、内在的対称性を有する逆問題においてエンドツーエンドの深層学習が一般化に失敗するのはなぜか？
• RQ2 訓練データにおける対称性の破壊が、位相再構築のような逆問題における学習性能を顕著に向上させられるか？
• RQ3 効果的な対称性の破壊を可能にする背後にある数学的原則は何か？
• RQ4 深層学習における性能低下は、ハイパーパrameterの不適切な調整に起因するのか、それとも対称的かつ高周波数の関数を近似する困難さに起因するのか？
• RQ5 提案された対称性の破壊戦略は、位相再構築を越えて他の逆問題にも一般化可能か？

主な発見

• 対称性の破壊を行わないで訓練されたニューラルネットワークは、一般化に失敗し、大規模な訓練データセットを用いても単純なベースライン手法よりも性能が劣る。
• 性能の悪化は、学習率、ミニバッチサイズ、正則化などのハイパーパrameterが最適でないことが原因ではなく、これらの要因がテスト誤差にほとんど影響を与えないことが判明した。
• 同値類の代表的サンプリングによる対称性の破壊は、次元や問題タイプが異なる状況においても、テスト誤差の顕著で一貫した改善をもたらす。
• 特に、対称性に起因する振動が最も顕著に現れる高次元設定において、標準的なエンドツーエンド学習に比べて優れた性能を達成する。
• 同値類の連結代表集合を求めるという背後原理は、広範な対称性を有する逆問題に適用可能な一般化可能なフレームワークを提供する。
• 広範な実験により、根本的な問題はデータ不足や最適化の不安定性ではなく、対称性に起因する非一意性であることが確認された。