[論文レビュー] Dynamically Unfolding Recurrent Restorer: A Moving Endpoint Control Method for Image Restoration

Xiaoshuai Zhang, Yiping Lu+2 more|arXiv (Cornell University)|Jan 1, 2018

Image and Signal Denoising Methods参考文献 35被引用数 22

ひとこと要約

本稿では、各入力画像の最適な修復ステップ数を動的に決定するための移動エンドポイント制御機構を用いた、画像修復のための新規フレームワークであるDynamically Unfolding Recurrent Restorer (DURR)を提案する。画像修復を再帰的ニューラルネットワークによって制御される動的システムとしてモデル化し、ポリシーネットワークを用いて終端時刻を学習することで、盲目的な画像ノイズ除去およびJPEGデブロッキングにおいて最先端の性能を達成するとともに、学習分布外の未観測の劣化レベルに対しても頑健に一般化する。

ABSTRACT

In this paper, we propose a new control framework called the moving endpoint control to restore images corrupted by different degradation levels in one model. The proposed control problem contains a restoration dynamics which is modeled by an RNN. The moving endpoint, which is essentially the terminal time of the associated dynamics, is determined by a policy network. We call the proposed model the dynamically unfolding recurrent restorer (DURR). Numerical experiments show that DURR is able to achieve state-of-the-art performances on blind image denoising and JPEG image deblocking. Furthermore, DURR can well generalize to images with higher degradation levels that are not included in the training stage.

研究の動機と目的

• 同一の統合モデルを用いて多様な劣化レベルを有する画像を復元するという課題に対処すること。
• 従来の深層学習ベースの画像修復手法における固定深さネットワークおよび手動によるハイパーパrameterチューニングの限界を克服すること。
• 高いノイズレベルやJPEG圧縮における未知の品質係数など、未観測の劣化レベルへの一般化を向上させること。
• 各画像ごとに修復深さを動的に調整できる統合フレームワークを構築し、頑健性と柔軟性を向上させること。

提案手法

• 画像修復プロセスは、畳み込み再帰的ニューラルネットワーク（RNN）を用いて連続時間動的システム Ẋ = f(X(t), w(t)) としてモデル化され、これが修復ユニットとして機能する。
• 終端時刻 τ(x) は固定ではなく、入力画像ごとにポリシーネットワークによって学習され、劣化レベルに応じた適応的停止を可能にする。
• 問題は移動エンドポイント最適制御問題として定式化され、再構成誤差と正則化を含む損失関数を最小化する。
• ポリシーネットワークは、各入力画像のRNNステップ数（すなわちループ回数）の最適値を決定するためにDeep Q学習を用いて訓練される。
• 修復ユニットとポリシーネットワークは、エンドツーエンドで同時に訓練され、ポリシーネットワークがRNNの動的アンフォールディングをガイドする。
• 本手法は、残差ネットワークと最適制御の間の関係に着想を得ており、残差ブロックを連続ダイナミクスの時間離散化と解釈する。

実験結果

リサーチクエスチョン

• RQ1 1つの深層学習モデルが、再トレーニングやハイパーパrameterチューニングを必要とせずに、多様な劣化レベルを有する画像を効果的に復元できるか。
• RQ2 学習された画像修復プロセスの終端時刻を、入力固有の劣化レベルに応じて適応的に設定できるか。
• RQ3 ポリシーに基づく動的停止機構は、固定深さモデルと比較して、未観測の劣化レベルへの一般化を向上させるか。
• RQ4 移動エンドポイント制御フレームワークは、既存の最先端モデルを上回る性能を発揮できるか、盲的な画像ノイズ除去およびJPEGデブロッキングにおいて。

主な発見

• DURRは、盲的な画像ノイズ除去において最先端の性能を達成し、DnCNN-BおよびUNLNet5をすべてのテストノイズレベルで上回った。特に、学習時に未使用のσ = 65およびσ = 75のノイズレベルに対しても優れた性能を示した。
• BSD68データセットにおいて、DURRはσ = 65（学習時未使用）で25.26 dBのPSNRを達成した。一方、DnCNN-Bは著しく低下し23.40 dBにまで低下した。これは、優れた一般化性能を示している。
• JPEGデブロッキングにおいて、DURRはDnCNN-3を多くの場合で上回り、QF 40では34.01 dB、QF 10では29.23 dBを達成した。これは、パラメータ数が著しく少ないにもかかわらず顕著な性能向上を示している。
• 実世界のノイズ除去において、DURRはノイズレベルσ = 65（学習時未使用）のテスト画像で22.84 dBのPSNRを達成し、DnCNNの21.86 dBを上回った。また、細かいテクスチャの再現性も優れていた。
• 追加のファインチューニングなしに、実世界のノイズに対しても良好な一般化性能を示した。Lebrunら（2015）の画像における定性的な結果から、DURRはベースラインより正確にテクスチャを復元していることが明らかになった。
• ポリシーネットワークは、各画像ごとに復元ステップ数を適切に調整する能力を学習しており、固定深さモデルと比較して高劣化入力に対してもより効果的に対処できることを示している。