[論文レビュー] Momentum-Net: Fast and convergent iterative neural network for inverse problems

Il Yong Chun, Zhengyu Huang+2 more|arXiv (Cornell University)|Jul 26, 2019

Sparse and Compressive Sensing Techniques参考文献 83被引用数 97

ひとこと要約

本稿では、一般の微分可能（非）凸なデータ適合項と凸な可能性集合に対して固定点への収束を保証する、最初の反復的ニューラルネットワーク（INN）アーキテクチャであるMomentum-Netを提案する。ブロック単位のモデルベース画像再構成（MBIR）フレームワークにモーメンタムとマジョライゼーションを統合し、学習可能なリファイナを組み合わせることで、スパarselyビューCTおよび光場写真撮影の応用において、既存のINNおよび最先端のMBIR手法よりも高速な収束と優れた再構成精度を達成する。

ABSTRACT

Iterative neural networks (INN) are rapidly gaining attention for solving inverse problems in imaging, image processing, and computer vision. INNs combine regression NNs and an iterative model-based image reconstruction (MBIR) algorithm, often leading to both good generalization capability and outperforming reconstruction quality over existing MBIR optimization models. This paper proposes the first fast and convergent INN architecture, Momentum-Net, by generalizing a block-wise MBIR algorithm that uses momentum and majorizers with regression NNs. For fast MBIR, Momentum-Net uses momentum terms in extrapolation modules, and noniterative MBIR modules at each iteration by using majorizers, where each iteration of Momentum-Net consists of three core modules: image refining, extrapolation, and MBIR. Momentum-Net guarantees convergence to a fixed-point for general differentiable (non)convex MBIR functions (or data-fit terms) and convex feasible sets, under two asymptomatic conditions. To consider data-fit variations across training and testing samples, we also propose a regularization parameter selection scheme based on the "spectral spread" of majorization matrices. Numerical experiments for light-field photography using a focal stack and sparse-view computational tomography demonstrate that, given identical regression NN architectures, Momentum-Net significantly improves MBIR speed and accuracy over several existing INNs; it significantly improves reconstruction quality compared to a state-of-the-art MBIR method in each application.

研究の動機と目的

• 既存の逆問題用反復的ニューラルネットワーク（INN）における収束保証の欠如に対処すること。
• 高い再構成精度を維持しつつ、モデルベース画像再構成（MBIR）を高速化すること。
• 深層学習によるリファイナと、証明可能に収束する最適化手法の長所を統合した包括的フレームワークの構築。
• 訓練データとテストデータの両方で堅牢な一般化を実現するため、マジョライゼーション行列の固有値分布に基づく正則化パラメータ選択法の提供。
• スパarselyビューコンピュータトモグラフィーおよび光場写真撮影において、最先端の性能を実証すること。

提案手法

• モーメンタム補外、マジョライゼーションによる非反復的MBIR、および学習可能な画像リファイナを統合したINNアーキテクチャ「Momentum-Net」を提案。
• 収束を加速するために、補外モジュールにモーメンタム項を含むブロック単位のMBIRを採用。
• 各反復でMBIRサブプロブレムを非反復的に解けるように、マジョライゼーション行列を用いることで計算コストを低減。
• 一般の微分可能（非）凸なデータ適合関数と凸な可能性集合に対して、2つの漸近的条件の下で収束性を証明。
• 訓練データとテストデータにおけるデータ適合のばらつきに対応するため、マジョライゼーション行列の固有値分布に基づく正則化パラメータ選択法を提案。
• 入力とリファイナ出力のバランスをとるために、ρ ∈ (0,1) の緩和パラメータを採用し、正則化強度に応じた最適選択のガイドラインを提示。

実験結果

リサーチクエスチョン

• RQ1 一般の（非）凸なデータ適合項と凸な可能性集合に対して、収束を保証する反復的ニューラルネットワークアーキテクチャを設計可能か？
• RQ2 モーメンタムとマジョライゼーションを学習可能なリファイナと効果的に組み合わせ、再構成精度を損なわず収束を加速できるか？
• RQ3 訓練データとテストデータにおけるデータ適合のばらつきが生じる状況下で、正則化パラメータγの有効な選択戦略は何か？
• RQ4 リファイナアーキテクチャ（例：sCNN対dCNN）および緩和パラメータρの選択が、性能と収束に与える影響は何か？
• RQ5 提案手法は、実世界の逆問題において、既存のINNおよび最先端のMBIR手法を上回る性能を発揮できるか？

主な発見

• スパarselyビューCTおよび光場写真撮影において、同じリファイナアーキテクチャを用いても、既存のINNよりもMomentum-Netが高速な収束と高い再構成精度を達成した。
• スパarselyビューCTでは、RMSEを2.4 HUまで低下（最良対応手法の7.1 HUに対し66％の改善）。
• 光場写真撮影では、PSNRが32.4 dB（最良対応手法の28.1 dB）に達し、RMSEは5.7×10−2 m（最良対応手法の13.8×10−2 m）に低下した。
• 拡張的リファイナを用いても、やや厳しい条件下でも証明可能な収束性を示した。これは、従来のINNが制限的な非拡張性仮定に依存しているのとは対照的である。
• 固有値分布に基づく正則化パラメータ選択法により、多様なデータ適合条件における一般化性能が向上した。
• 高正則化設定（例：光場）ではρ = 1−εがρ = 0.5より優れた性能を示し、中程度正則化設定（例：CT）ではρ = 0.5が最適であった。これは、提案された選択ガイドラインの妥当性を裏付けた。