[論文レビュー] Restoring Images with Unknown Degradation Factors by Recurrent Use of a Multi-branch Network

Xing Liu, Masanori Suganuma+2 more|arXiv (Cornell University)|Jul 10, 2019

Advanced Image Processing Techniques参考文献 72被引用数 4

ひとこと要約

本論文では、同じ共有バックボーンを繰り返し適用する異なる修復ブランチを反復的に適用することで、未知の劣化要因を有する画像を修復する再帰的マルチブランチネットワークを提案する。この手法は、単一の劣化タイプに対して専用ネットワークと同等または優れた性能を達成し、混合劣化タスクにおいても先行研究の最良手法を上回る。2段階の訓練スキーム（マルチタスク学習とファインチューニングの組み合わせ）により、強力な一般化性能を示している。

ABSTRACT

The employment of convolutional neural networks has achieved unprecedented performance in the task of image restoration for a variety of degradation factors. However, high-performance networks have been specifically designed for a single degradation factor. In this paper, we tackle a harder problem, restoring a clean image from its degraded version with an unknown degradation factor, subject to the condition that it is one of the known factors. Toward this end, we design a network having multiple pairs of input and output branches and use it in a recurrent fashion such that a different branch pair is used at each of the recurrent paths. We reinforce the shared part of the network with improved components so that it can handle different degradation factors. We also propose a two-step training method for the network, which consists of multi-task learning and finetuning. The experimental results show that the proposed network yields at least comparable or sometimes even better performance on four degradation factors as compared with the best dedicated network for each of the four. We also test it on a further harder task where the input image contains multiple degradation factors that are mixed with unknown mixture ratios, showing that it achieves better performance than the previous state-of-the-art method designed for the task.

研究の動機と目的

• 劣化要因が未知であるが、事前に定義された集合に属することは分かっている状況における画像修復を解決すること。
• 劣化タイプの事前知識を必要とする専用ネットワークの限界を克服すること。
• 複数の劣化タイプにわたる一般化を実現するが、顕著な性能低下を伴わない単一のアーキテクチャを設計すること。
• より現実的で挑戦的な状況である、未知の混合劣化率を有する画像の効果的修復を可能にすること。
• 多様な劣化タイプにわたる性能を維持しながら、パラメータの過剰な増加を最小限に抑える訓練戦略を開発すること。

提案手法

• ネットワークは、それぞれが特定の劣化タイプに特化した複数の入出力ブランチペアを備え、それらが共有バックボーンを介して接続されている。
• 再帰的メカニズムにより、1つのブランチペアの出力を次のイテレーションで別の入力ブランチにフィードバックすることで、同じネットワークを繰り返し利用する。
• 多様な劣化タイプにわたる表現能力を向上させるために、新しい残差ブロック設計（DuRB-M）を共有バックボーンに統合している。
• 2段階の訓練プロセスを採用：まず全劣化タイプにわたるマルチタスク学習を実施し、その後混合劣化データでのファインチューニングにより耐障害性を向上させる。
• 入力からの残差画像を予測することで、各劣化タイプごとに一貫した残差学習定式化を実現するエンドツーエンド学習が可能になる。
• 劣化固有の損失を最小化するとともに、クリアな画像を保持し、非ターゲット要因の劣化を回避するようにアーキテクチャを訓練する。

実験結果

リサーチクエスチョン

• RQ1 劣化タイプが未知であるが、既知の要因の集合に限定される場合に、単一の深層ネットワークが効果的に画像修復を実行できるか。
• RQ2 性能の低下を伴わずに、複数の明確に異なる劣化タイプに一般化できるように、共有ネットワークバックボーンをどのように設計できるか。
• RQ3 単一パスまたは段階的なアプローチと比較して、マルチブランチネットワークのブランチを再帰的に適用することで、修復性能が向上するか。
• RQ4 マルチタスク学習に続いてファインチューニングを行う2段階の訓練戦略が、混合劣化シナリオにおける一般化を向上させるか。
• RQ5 本手法は、単一および統合劣化タスクの両方において、専用ネットワークおよび先行研究の最良手法と比較して、どのように評価されるか。

主な発見

• 提案された R-MBN モデルは、4つの個別劣化タイプ（ぼかし、ノイズ、JPEG、はだ）すべてにおいて、専用ネットワークと同等または優れた性能を達成している。
• 混合劣化データでファインチューニングされた R-MBN* は、Suganuma らの先行研究の最良手法を、大きな差で上回っている。
• 混合データでのファインチューニングを行わなくても、R-MBN は混合劣化において強力な性能を維持しており、単一要因での性能と比較して僅かな低下にとどまっている。
• 劣化要因の混合割合が未知であっても、本手法は頑健であることが示され、強力な一般化能力を示している。
• 2段階の訓練戦略は、マルチタスク学習とファインチューニングのバランスを効果的にとらせており、多様な劣化パターンを処理しつつ、画像品質を保持している。