[論文レビュー] Invert to Learn to Invert

Patrick Putzky, Max Welling|arXiv (Cornell University)|Nov 25, 2019

Generative Adversarial Networks and Image Synthesis被引用数 38

ひとこと要約

この論文は、invertible neural networksから構成されるメモリ効率の高い、完全に可逆な反復的逆モデル（i-RIM）を提案し、非常に深い3D MRI再構成を可能にすると同時に、一定のメモリ量でトレーニングを実現し、最先端の結果を達成します。

ABSTRACT

Iterative learning to infer approaches have become popular solvers for inverse problems. However, their memory requirements during training grow linearly with model depth, limiting in practice model expressiveness. In this work, we propose an iterative inverse model with constant memory that relies on invertible networks to avoid storing intermediate activations. As a result, the proposed approach allows us to train models with 400 layers on 3D volumes in an MRI image reconstruction task. In experiments on a public data set, we demonstrate that these deeper, and thus more expressive, networks perform state-of-the-art image reconstruction.

研究の動機と目的

• 訓練時の活性化を保存せずに深い反復的逆モデルのメモリボトルネックをinvertibleネットワークで解消する。
• 逆問題のための非常に深いアーキテクチャ（最大400層）をトレーニング可能にする。
• MRIの大規模な3D観測に対して反復再構成法をスケールさせる。
• 深い i-RIM を支える安定な invertible レイヤを提案し、訓練安定性を向上させる。

提案手法

• 反復的逆モデルをinvertible学習と組み合わせ、訓練中の一定メモリを実現する。
• 更新式をinvertibleに再構成して、invertible Recurrent Inference Machines (i-RIM) を開発する。
• 安定な反転と容易な逆算を保証する正交1x1畳み込みを用いたinvertibleレイヤを導入する。
• 安定した訓練を実現するために、空間的ダウンサンプリングとGated Linear Unitsを備えた残差ブロックをinvertibleフレームワーク内で使用する。
• fastMRIチャレンジの加速MRIデータで訓練・評価を行い、U-NetおよびRIMのベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 invertible neural networks を用いて訓練時の一定メモリで反復的逆モデルを訓練できるか。
• RQ2 RIMを完全にinvertibleで深い3Dモデルに対して安定させるにはどのようなアーキテクチャ的調整が必要か。
• RQ3 i-RIMは4xおよび8x加速でMRI再構成において最先端の性能を達成するか。
• RQ4 i-RIMのメモリ効率は大規模な3D体積のより深いネットワークの訓練をどのように可能にするか。

主な発見

• 提案された i-RIM は訓練時のメモリ複雑性を O(1) に抑え、非常に深いモデル（最大400層）を可能にする。
• fastMRIデータでのMRI再構成において、i-RIMは4xおよび8x加速設定で、 NMSE、PSNR、SSIM の指標で U-Netベースラインおよび標準RIMを上回る。
• 3D i-RIMは2D i-RIMの性能に近づき、体積データへの強いスケーラビリティを示す。
• Table 1 は、非可逆トレーニングでは不可能となる3Dモデルのメモリ節約を示している。
• このアプローチは公表時点で single-coil fastMRIリーダーボードのトップに i-RIMs を位置づける。