[論文レビュー] InverseNet: Solving Inverse Problems with Splitting Networks

Kai Fan, Qi Wei+3 more|arXiv (Cornell University)|Dec 1, 2017

Sparse and Compressive Sensing Techniques参考文献 40被引用数 6

ひとこと要約

InverseNetは、物理的前向きモデルの逆転（データ項）と結果のノイズ除去／正則化（事前分布項）の2つの共同訓練されたニューラルネットワークに逆問題を分割する深層学習フレームワークを提案する。このエンドツーエンドのアプローチは、モーションデブラー、スーパーレゾリューション、カラーリゼーションにおいて最先端の性能を達成し、特にリングアーチファクトや統合的スーパーレゾリューション／カラーリゼーションといった困難なケースで、既存の手法を上回る性能を発揮する。

ABSTRACT

We propose a new method that uses deep learning techniques to solve the inverse problems. The inverse problem is cast in the form of learning an end-to-end mapping from observed data to the ground-truth. Inspired by the splitting strategy widely used in regularized iterative algorithm to tackle inverse problems, the mapping is decomposed into two networks, with one handling the inversion of the physical forward model associated with the data term and one handling the denoising of the output from the former network, i.e., the inverted version, associated with the prior/regularization term. The two networks are trained jointly to learn the end-to-end mapping, getting rid of a two-step training. The training is annealing as the intermediate variable between these two networks bridges the gap between the input (the degraded version of output) and output and progressively approaches to the ground-truth. The proposed network, referred to as InverseNet, is flexible in the sense that most of the existing end-to-end network structure can be leveraged in the first network and most of the existing denoising network structure can be used in the second one. Extensive experiments on both synthetic data and real datasets on the tasks, motion deblurring, super-resolution, and colorization, demonstrate the efficiency and accuracy of the proposed method compared with other image processing algorithms.

研究の動機と目的

• 既存のエンドツーエンドの深層学習手法が、問題に特化しており再利用性に欠けるという限界を克服すること。
• 逆写像を2つの学習可能なコンponent（前向きモデルの逆転と信号のノイズ除去）に分解することで、一般化性能と効率を向上させること。
• 分離した事前学習を必要とせず、2つのネットワークを同時に学習させることで、2段階最適化の非効率性を回避すること。
• リングアーチファクトを伴うスーパーレゾリューションや、単一バンド画像からの統合的スーパーレゾリューション／カラーリゼーションといった困難な逆問題に対処すること。

提案手法

• 逆問題を2つのニューラルネットワークに分解する：データ項のための逆転ネットワークと、事前分布／正則化項のためのノイズ除去ネットワーク。
• 逆転ネットワークは、物理的前向きモデルAの逆転により、劣化した測定値を真値空間へと逆方向にマッピングする学習を行う。
• ノイズ除去ネットワークは、逆転ネットワークの出力を精錬し、有効な真値信号の多様体へと投影する。
• ペアドトレーニングデータ（x_i, y_i）を用いて2つのネットワークを共同で学習させ、入力と出力の間に中間変数を介在させることで、トレーニング中に段階的（アナーリング）に最適化を安定化させる。
• フレームワークは柔軟で、既存のアーキテクチャを統合可能である。標準的なスーパーレゾリューションまたはノイズ除去ネットワークを任意のコンponentとして使用可能。
• トレーニングプロセスでは、中間表現を段階的に真値に近づけるアナーリング戦略を採用し、最適化の安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 逆問題を2つのコンponentに分割する深層学習フレームワークが、エンドツーエンドモデルに比べて優れた性能を発揮できるか？
• RQ2 逆転ネットワークとノイズ除去ネットワークを共同で学習させることで、2段階学習や従来の最適化手法を上回れるか？
• RQ3 リングアーチファクトを伴うスーパーレゾリューションや、統合的スーパーレゾリューション／カラーリゼーションといった困難な逆問題に、この手法はどれほど一般化できるか？
• RQ4 入力に重度の劣化（例：強いアリasingや色の喪失）がある場合でも、自然な外観の画像を回復できるか？

主な発見

• InverseNetは、スーパーレゾリューションタスクにおけるリングアーチファクトを顕著に低減し、バイキュービック補間や他の深層学習ベースラインを上回る。
• ImageNetデータセットでは、リングアーチファクトを引き起こす困難な×4ダウンサンプリング演算子を用いた×4スーパーレゾリューションで、優れた性能を達成した。
• 統合的スーパーレゾリューションとカラーリゼーションタスクでは、視覚的に自然な結果を生成し、まれまたは不自然な特徴（例：紫色の髪）ですら、より一般的で妥当なものに修正した。
• モデルは複数のデータセットにわたって良好に一般化され、CelebA（顔）およびCUB（野生の鳥）の両方で、最小限のアーチファクトと高い知覚的品質を実現した。
• アブレーションスタディにより、2つのネットワークの共同学習が、分離学習や標準的なエンドツーエンド学習よりも優れた性能をもたらすことが確認された。