[論文レビュー] Closed-loop Matters: Dual Regression Networks for Single Image Super-Resolution

Yong Guo, Jian Chen+6 more|arXiv (Cornell University)|Mar 16, 2020

Advanced Image Processing Techniques参考文献 51被引用数 32

ひとこと要約

本論文は単一画像超解像のための Dual Regression Networks (DRN) を提案し、LR を HR から再構築して閉ループを形成するデュアル回帰制約を導入します。これにより SR を改善し、未組み合わせの実世界データへの適応性を高めます。

ABSTRACT

Deep neural networks have exhibited promising performance in image super-resolution (SR) by learning a nonlinear mapping function from low-resolution (LR) images to high-resolution (HR) images. However, there are two underlying limitations to existing SR methods. First, learning the mapping function from LR to HR images is typically an ill-posed problem, because there exist infinite HR images that can be downsampled to the same LR image. As a result, the space of the possible functions can be extremely large, which makes it hard to find a good solution. Second, the paired LR-HR data may be unavailable in real-world applications and the underlying degradation method is often unknown. For such a more general case, existing SR models often incur the adaptation problem and yield poor performance. To address the above issues, we propose a dual regression scheme by introducing an additional constraint on LR data to reduce the space of the possible functions. Specifically, besides the mapping from LR to HR images, we learn an additional dual regression mapping estimates the down-sampling kernel and reconstruct LR images, which forms a closed-loop to provide additional supervision. More critically, since the dual regression process does not depend on HR images, we can directly learn from LR images. In this sense, we can easily adapt SR models to real-world data, e.g., raw video frames from YouTube. Extensive experiments with paired training data and unpaired real-world data demonstrate our superiority over existing methods.

研究の動機と目的

• SR を無限個の可能な LR→HR 写像を持つ不適定問題として動機づける。
• デュアル（LR 再構築）制約を介して SR 写像の関数空間を縮小する。
• HR 対応を持たない未対応の実世界 LR データからの学習を可能にする。
• 対をなった合成データと非対の実世界データを組み合わせた訓練フレームワークを提供する。

提案手法

• 閉ループを形成する primal（LR→HR）と dual（HR→LR）回帰タスクを導入する。
• SR 再構築のため RCAB ブロックを備えた U-Net ベースの primal ネットワークを用いる。
• HR→LR 再構築としてダウンサンプリングを学習する軽量な dual ネットワークを実装する。
• primal SR 損失と加重 dual 再構築損失（lambda）を組み合わせた結合損失を最適化する。
• 対をなす合成データと実世界 LR データをブレンドする適応アルゴリズムを介して未対データへ拡張する。
• Rademacher 複雑さに基づく理論的一般化分析を提供する。

実験結果

リサーチクエスチョン

• RQ1 デュアル回帰制約は LR→HR 写像の空間を縮小して SR 性能を向上させることができるか。
• RQ2 LR 再構築写像を学習することで、未対の実世界 LR データへの効果的な適応が可能になるか。
• RQ3 対を成す SR ベンチマークに対する DRN の性能と、未対の実世界データ適応との比較はどうか。
• RQ4 デュアル損失の重み lambda とデータ比 rho が性能に与える影響はどの程度か。
• RQ5 DRN モデルは従来の教師あり SR に比べて理論的な一般化利得を提供するか。

主な発見

• デュアル回帰を用いる DRN は、対データ上で、特に 8× SR において、複数の最先端ベースラインよりもシャープで正確な SR 結果を示す。
• デュアル回帰制約は関数空間を縮小し、SR 再構築品質を向上させる。
• DRN は実世界の未対 LR データへ適応でき、適応シナリオで CycleGAN ベース手法や他のベースラインを上回る成果を達成する。
• 適応アルゴリズムは、未対の実世界データと対となった合成データの混合を効果的に活用し、おすすめの未対データ比率（rho）は約 30%。
• 理論的な一般化境界は、デュアル回帰方式が従来の教師あり SR より小さな境界を持つことを示唆しており、十分なデータとモデル容量の下でより良い一般化を支持する。