[論文レビュー] Recurrent Inference Machines for Solving Inverse Problems

Patrick Putzky, Max Welling|arXiv (Cornell University)|Jun 13, 2017

Image and Signal Denoising Methods参考文献 24被引用数 94

ひとこと要約

本論文は Recurrent Inference Machines (RIMs) を紹介します。RIMs は RNN を用いて推論アルゴリズムを学習し、線形逆問題を解くフレームワークとして、強力なクロス・タスク一般化を伴う最先端の画像ノイズ除去と超解像を実現します。

ABSTRACT

Much of the recent research on solving iterative inference problems focuses on moving away from hand-chosen inference algorithms and towards learned inference. In the latter, the inference process is unrolled in time and interpreted as a recurrent neural network (RNN) which allows for joint learning of model and inference parameters with back-propagation through time. In this framework, the RNN architecture is directly derived from a hand-chosen inference algorithm, effectively limiting its capabilities. We propose a learning framework, called Recurrent Inference Machines (RIM), in which we turn algorithm construction the other way round: Given data and a task, train an RNN to learn an inference algorithm. Because RNNs are Turing complete [1, 2] they are capable to implement any inference algorithm. The framework allows for an abstraction which removes the need for domain knowledge. We demonstrate in several image restoration experiments that this abstraction is effective, allowing us to achieve state-of-the-art performance on image denoising and super-resolution tasks and superior across-task generalization.

研究の動機と目的

• 明示的な手作りの前提情報や最適化手順なしに、推論と事前情報を共同で学習するフレームワークを動機づける。
• 学習可能な RNN を実装する Recurrent Inference Machines (RIMs) を提案する。
• ノイズ除去、超解像を含む画像復元タスクおよびタスク横断の一般化で RIMs を実証する。

提案手法

• 反復的 MAP 更新を定式化し、それを勾配情報と現在の推定を受け取る learnable update function g_phi（Eq. 4）へ一般化する。
• 事前情報とステップサイズを単一の訓練可能パラメータ集合 phi に統合し、明示的な事前指定なしにエンドツーエンド学習を可能にする（Eq. 5）。
• 潜在的メモリ状態 s_t と RNN ベースの更新則（Eq. 6–7）を導入し、進行と曲率情報を捉える。
• 出力が変数制約を満たすようにするため、eta を介して x を制約する微分可能なリンク関数 Psi を導入し、無制約空間での反復を可能にしつつ出力が可変制約を満たすようにする。
• Eq. 8 による各ステップの誤差を合計する損失で時間に沿ってバックプロパゲーションを用いて RIMs を訓練する。
• 前方演算子 A を用いた知っている前方モデル A に対する線形ガウス前方モデルでの画像復元を評価し、尤度勾配（Eq. 9）を用いる。

実験結果

リサーチクエスチョン

• RQ1 手作業で作成した明示的な priors に頼らず、推論と暗黙の prior を同時に学習する RIM フレームワークは、 inverse problems を効率的に解くことができるか。
• RQ2 RIMs は retraining なしにタスク間で一般化するか（例：deconvolution から inpainting へ）。
• RQ3 RIMs は denoising および super-resolution において、手作業で作成された手法や勾配法と比較してどのような性能を示すか。
• RQ4 現在の推定値とメモリ状態を含めることが収束と性能に与える影響は何か。

主な発見

• RIMs はランダム投影再構成タスクで勾配降下ネットワークや FFN を上回り、収束性が堅牢で性能も優れている。
• RIMs はタスク横断一般化を示す。あるタスク（例：deconvolution）で訓練されたモデルが、尤度勾配を入れ替えるだけで別のタスク（例：inpainting）に転移できる。
• グレースケールの denoising では、RIM ベースのアプローチが最先端法と競合する PSNR/品質を達成し、denoise 専用の RIM が最も良い性能を示す。
• カラー denoising およびマルチチャンネル設定では、RIMs はチャンネル間の相関を活用し、ノイズレベルを跨いでも競争力のある性能を維持する。
• 画像の super-resolution では、パッチ上で訓練された単一の RIM が、複数のベースラインと比較してスケールを跨いだ PSNR/SSIM において優位であり、モデルはコンパクト（約0.5M パラメータ）。
• RIMs は memory を増強したデータ駆動型推論を可能にし、訓練を通じて priors を暗黙のうちに学習できるため、手作業の正則化子への依存を減らす。