[論文レビュー] Multi-Dimension Modulation for Image Restoration with Dynamic Controllable Residual Learning.

Jingwen He, Chao Dong+1 more|arXiv (Cornell University)|Dec 11, 2019

Advanced Image Processing Techniques参考文献 15被引用数 7

ひとこと要約

本稿では、複数の劣化タイプおよび劣化レベルにわたり、動的で連続的な復元効果の制御を可能にする、画像復元のための新規な多次元（MD）変調フレームワーク、CResMDを提案する。制御可能な残差接続と条件ネットワーク、およびベータ分布に基づくサンプリング戦略を導入することで、CResMDは単一次元および多次元の変調タスクにおいて優れた性能を達成し、推論時にユーザー主導の細かい制御が可能になる。

ABSTRACT

Based on the great success of deterministic learning, to interactively control the output effects has attracted increasingly attention in the image restoration field. The goal is to generate continuous restored images by adjusting a controlling coefficient. Existing methods are restricted in realizing smooth transition between two objectives, while the real input images may contain different kinds of degradations. To make a step forward, we present a new problem called multi-dimension (MD) modulation, which aims at modulating output effects across multiple degradation types and levels. Compared with the previous single-dimension (SD) modulation, the MD task has three distinct properties, namely joint modulation, zero starting point and unbalanced learning. These obstacles motivate us to propose the first MD modulation framework -- CResMD with newly introduced controllable residual connections. Specifically, we add a controlling variable on the conventional residual connection to allow a weighted summation of input and residual. The exact values of these weights are generated by a condition network. We further propose a new data sampling strategy based on beta distribution to balance different degradation types and levels. With the corrupted image and the degradation information as inputs, the network could output the corresponding restored image. By tweaking the condition vector, users are free to control the output effects in MD space at test time. Extensive experiments demonstrate that the proposed CResMD could achieve excellent performance on both SD and MD modulation tasks.

研究の動機と目的

• 既存の単一次元（SD）変調手法が多様な劣化タイプとレベルを滑らかに処理できないという制限に対処すること。
• 複数の劣化タイプと強度を同時に制御できる新たな問題設定—多次元（MD）変調—を定式化すること。
• 推論時に多次元空間における連続的かつユーザー制御可能な復元効果をサポートする統合フレームワークを開発すること。
• MD変調における課題、すなわち劣化タイプ間での学習の不均衡と制御空間におけるゼロ出発点の必要性を克服すること。
• 効果的な学習を可能にするために、劣化タイプとレベルの分布をバランスさせるデータサンプリング戦略を設計すること。

提案手法

• 制御変数を残差マッピングに追加することで、制御可能な残差接続を導入し、入力と残差特徴の重み付き和を可能にする。
• 劣化タイプとレベルに応じた制御重みを生成するための条件ネットワークを用い、推論時に動的変調を実現する。
• 学習中に劣化タイプとレベルの分布をバランスさせるために、ベータ分布に基づくデータサンプリング戦略を提案する。
• 汚損画像と劣化情報の入力を用いてネットワークを学習させ、出力として対応する復元画像を得る。
• 条件ベクトルを変更することで、推論時に複数の次元にわたる復元出力を制御可能にする。
• 統合的変調、ゼロ出発点、不均衡学習の考慮事項をネットワーク設計および学習プロトコルに統合する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングフレームワークは、複数の劣化タイプとレベルにわたり、滑らかで連続的な画像復元効果の制御を達成できるか？
• RQ2 統合アーキテクチャは、単一次元および多次元変調タスクの両方を効果的にサポートできるか？
• RQ3 MD変調において、多様な劣化タイプと強度の間で訓練データの分布を最もよくバランスさせるデータサンプリング戦略は何か？
• RQ4 制御可能な残差接続は、推論時にMD空間で正確なユーザー主導の制御を可能にするか？
• RQ5 MD変調の3つの特徴（統合的変調、ゼロ出発点、不均衡学習）を満たすために、どのようなアーキテクチャ的および学習的要素が必要か？

主な発見

• CResMDは、画像復元における単一次元および多次元変調タスクの両方で最先端の性能を達成した。
• 提案されたベータ分布に基づくサンプリング戦略は、多様な劣化タイプとレベルにわたる訓練データの分布を効果的にバランスさせた。
• 制御可能な残差接続により、推論時に条件ベクトルを調整することで、復元効果に対する細かい連続的制御が可能になった。
• フレームワークは複数の劣化次元にわたる統合的変調を効果的にサポートし、異なる復元結果間での滑らかな遷移を実現した。
• ゼロ出発点の性質が保持されており、すべての制御設定において一貫したベースライン動作が保証された。
• 広範な実験により、CResMDが未観測の劣化組み合わせに一般化できること、および高い復元品質を維持できることを確認した。