[論文レビュー] Phase Retrieval using Expectation Consistent Signal Recovery Algorithm based on Hypernetwork

Chang-Jen Wang, Chao-Kai Wen+4 more|arXiv (Cornell University)|Jan 12, 2021

Advanced X-ray Imaging Techniques参考文献 73被引用数 11

ひとこと要約

本稿では、一般化期待一致信号復元（GEC-SR）アルゴリズムにおける減衰係数を生成するためのハイパーネットワークを用いて、位相再構成のための動的で適応的なディープアンフォールディングフレームワークを提案する。再帰的ハイパーネットワークと自己注意機構を統合することで、反復回数や測定条件の変化に応じて柔軟に変化する減衰係数をオンラインで生成でき、収束速度、ロバスト性、適応性の面で優れた性能を発揮し、特に過酷な条件や不一致のある設定下でも、既存の最先端手法を上回る性能を示した。

ABSTRACT

Phase retrieval (PR) is an important component in modern computational imaging systems. Many algorithms have been developed over the past half-century. Recent advances in deep learning have introduced new possibilities for a robust and fast PR. An emerging technique called deep unfolding provides a systematic connection between conventional model-based iterative algorithms and modern data-based deep learning. Unfolded algorithms, which are powered by data learning, have shown remarkable performance and convergence speed improvement over original algorithms. Despite their potential, most existing unfolded algorithms are strictly confined to a fixed number of iterations when layer-dependent parameters are used. In this study, we develop a novel framework for deep unfolding to overcome existing limitations. Our development is based on an unfolded generalized expectation consistent signal recovery (GEC-SR) algorithm, wherein damping factors are left for data-driven learning. In particular, we introduce a hypernetwork to generate the damping factors for GEC-SR. Instead of learning a set of optimal damping factors directly, the hypernetwork learns how to generate the optimal damping factors according to the clinical settings, thereby ensuring its adaptivity to different scenarios. To enable the hypernetwork to adapt to varying layer numbers, we use a recurrent architecture to develop a dynamic hypernetwork that generates a damping factor that can vary online across layers. We also exploit a self-attention mechanism to enhance the robustness of the hypernetwork. Extensive experiments show that the proposed algorithm outperforms existing ones in terms of convergence speed and accuracy and still works well under very harsh settings, even under which many classical PR algorithms are unstable.

研究の動機と目的

• 位相再構成における固定反復回数・非適応的アンフォールディング手法の限界を解消すること。
• 再トレーニングを必要とせず、異なるフォワードモデル、ノイズレベル、測定サイズにわたって学習済みパラメータが一般化できるようにすること。
• 性能を維持しつつ、反復回数を可変に扱える柔軟なアーキテクチャの開発。
• 二値測定行列や低SNRといった不一致分布下でも、ロバスト性を向上させること。
• データ駆動型の減衰係数生成により、GEC-SRアルゴリズムの適応性と安定性を向上させること。

提案手法

• GEC-SRアルゴリズムの減衰係数を直接学習する代わりに、ハイパーネットワークを導入して生成する。
• 再帰的アーキテクチャ（GEC-SR-HyperGRU）を採用することで、層ごとに変化する動的減衰係数をオンラインで生成可能にし、反復回数の可変性をサポートする。
• ハイパーネットワークに自己注意機構を組み込むことで、多様な入力シナリオにおける特徴表現力とロバスト性を向上させる。
• GEC-SRの元の数学的関数をすべて保持するが、減衰係数のみをハイパーネットワークが生成する可学習パラメータに置き換える。
• さまざまなフォワードモデルからのデータを用いてエンドツーエンドでハイパーネットワークを訓練し、未観測の設定への一般化を可能にする。
• ガウス分布および二値測定行列を含む多様な条件下で、合成および実画像再構成の両方に対して評価を実施。

実験結果

リサーチクエスチョン

• RQ1 アンフォールドGEC-SRアルゴリズムにおけるハイパーネットワークを用いて、異なる撮影シナリオに適応する減衰係数を生成可能か？
• RQ2 再帰的ハイパーネットワークアーキテクチャは、可変な反復回数に応じてどのように動的減衰係数を生成可能にするか？
• RQ3 ハイパーネットワーク内に自己注意機構を導入することで、分布シフト下でのロバスト性はどの程度向上するか？
• RQ4 本手法は、既存の最先端位相再構成アルゴリズムと比較して、収束速度および精度の面でどの程度優れているか？
• RQ5 不一致や過酷な条件に適用した場合、再トレーニングなしで性能を維持できるか？

主な発見

• SNR=15 dBの条件下で、50×50のスマイルイーフェース画像の再構成において、GEC-SR-HyperGRU（自己注意あり）は−21.07 dBのMSEを達成し、GEC-SR-Net（−13.59 dB）を著しく上回った。
• 二値測定行列下では、GEC-SR-HyperGRUは安定した収束を示し、M/N=2.5でわずか10反復で−15 dBのMSEを達成したのに対し、GEC-SR-Netは同条件で−9 dBにしか収束しなかった。
• スパース信号（ρ=0.2）の条件下では、GEC-SR-HyperGRUはGEC-SR-HyperNetを上回り、動的かつ状態に依存する減衰係数調整の利点を示した。
• 低SNRおよび高スパarsity領域では、GEC-SR-HyperGRUは優れたロバスト性を示し、不一致分布下でも再トレーニングなしに高い性能を維持した。
• 特に二値変換行列や低測定比の困難な設定下でも、prVAMPやGEC-SR-Netと比較してより速い収束と優れた安定性を達成した。
• ハイパーネットワークベースの手法は、多様な測定比（R=M/N）にわたって良好な一般化性能を示し、全テストR値において最良のMSE性能を達成した。