[論文レビュー] Component Divide-and-Conquer for Real-World Image Super-Resolution

Pengxu Wei, Ziwei Xie+5 more|arXiv (Cornell University)|Aug 5, 2020

Advanced Image Processing Techniques参考文献 33被引用数 9

ひとこと要約

本稿では、多様な劣化プロセスを有する大規模な実世界画像超解像データセット DRealSR を導入し、平坦領域、エッジ、コーナーの各成分に画像を分解してタスク固有の学習をガイドする、コンポーネント・ディバイド・アンド・コンクァー（CDC）ネットワークを提案する。コンポーネント注意ブロックと中間監督、勾配重み付き損失を用いることで、CDC は実世界のベンチマークで最先端の性能を達成し、特に ×4 超解像において PSNR を 0.4 dB 向上させる。

ABSTRACT

In this paper, we present a large-scale Diverse Real-world image Super-Resolution dataset, i.e., DRealSR, as well as a divide-and-conquer Super-Resolution (SR) network, exploring the utility of guiding SR model with low-level image components. DRealSR establishes a new SR benchmark with diverse real-world degradation processes, mitigating the limitations of conventional simulated image degradation. In general, the targets of SR vary with image regions with different low-level image components, e.g., smoothness preserving for flat regions, sharpening for edges, and detail enhancing for textures. Learning an SR model with conventional pixel-wise loss usually is easily dominated by flat regions and edges, and fails to infer realistic details of complex textures. We propose a Component Divide-and-Conquer (CDC) model and a Gradient-Weighted (GW) loss for SR. Our CDC parses an image with three components, employs three Component-Attentive Blocks (CABs) to learn attentive masks and intermediate SR predictions with an intermediate supervision learning strategy, and trains an SR model following a divide-and-conquer learning principle. Our GW loss also provides a feasible way to balance the difficulties of image components for SR. Extensive experiments validate the superior performance of our CDC and the challenging aspects of our DRealSR dataset related to diverse real-world scenarios. Our dataset and codes are publicly available at https://github.com/xiezw5/Component-Divide-and-Conquer-for-Real-World-Image-Super-Resolution

研究の動機と目的

• 超解像におけるシミュレート済みと実世界の劣化のドメインギャップを解消するため、現実的でリアルなベンチマークを構築すること。
• 平坦領域やエッジのような再構成が容易な領域を好む均一なピクセル単位の損失の限界を克服すること。
• 低レベルの画像コンポーネントに基づく領域固有の超解像ターゲットをモデル化することで、複雑なテクスチャの再構成を向上させること。
• コーナーや微細なテクスチャのような再構成が困難なコンポーネントを適応的に注目し、再構成する学習フレームワークを開発すること。
• 多様な実世界の劣化シナリオにわたる一般化性とロバストネスを、提案手法が示すことを実証すること。

提案手法

• 複数デバイスからの多様な劣化プロセスを有する大規模な実世界画像超解像データセット DRealSR を提案。シミュレートされたバイキュービックダウンサンプリングを超える現実的な画像劣化を捉える。
• ハリスコーナー検出にインspiredされた、画像を3つの低レベルコンポーネント（平坦領域、エッジ、コーナー）に分解するコンポーネント・ディバイド・アンド・コンクァー（CDC）フレームワークを設計。
• 各コンポーネントに特化した3つのコンポーネント注意ブロック（CAB）を実装。中間監視を用いて、注意マスクと中間の超解像予測を学習する。
• コンポーネントの難易度に基づいて再構成損失を再重みづける勾配重み付き（GW）損失を導入。コーナーのような難易度の高い領域を優先する。
• スタックドアワーゴラス型ベースネットワーク（HGSR）を構築。マルチスケール特徴量を抽出し、階層的特徴学習を支援して CDC アーキテクチャをサポートする。
• 各コンポーネントを別々に処理する分割統治型学習戦略を採用。専用の注目機構を備えることで、全体の再構成忠実度が向上する。

実験結果

リサーチクエスチョン

• RQ1 実世界の画像劣化はシミュレートされた劣化とどのように異なるのか。また、これにより既存の超解像モデルにどのような課題が生じるのか。
• RQ2 平坦領域、エッジ、コーナーといった画像コンポーネントを独立したエンティティとしてモデル化することで、実世界の画像における超解像性能が向上するか。
• RQ3 注意マスクと中間監視でガイドされるコンポーネント固有の学習戦略は、従来のピクセル単位の損失に比べて、より優れた詳細回復をもたらすか。
• RQ4 再構成難易度を考慮する勾配重み付き損失は、多様な劣化タイプにわたるモデルの一般化性能をどの程度向上させるか。
• RQ5 複雑な劣化を伴う実世界データセット上で訓練・テストされた場合、提案された CDC モデルは最先端手法と比べてどの程度優れているか。

主な発見

• DRealSR データセットは、既存のベンチマークよりも著しく困難であり、RealSR で訓練されたモデルは DRealSR でテストした際に性能が著しく低下する。特に ×4 スケールで顕著である。
• 提案された CDC モデルは、実際の劣化下で DRealSR に対して 32.54 dB の PSNR を達成し、×4 超解像においてすべての最先端手法を最大 0.4 dB 以上上回る。
• 勾配重み付き損失はコンポーネント間の学習バランスを効果的に制御し、従来の L1 損失に比べ、以前は再構成が不十分だったコーナー領域の詳細忠実度が向上している。
• クロスデータセットテストでは、シミュレートされたバイキュービック劣化で訓練されたモデルは実世界の劣化に一般化できないが、DRealSR で訓練された CDC は強力な性能を維持している。
• 視覚的比較では、CDC は EDSR や RCAN や LP-KPN で一般的に見られるアーティファクトやぼやけを避け、よりシャープで自然なテクスチャを生成している。
• バイキュービックダウンサンプリングされた DRealSR 画像で訓練された場合でも、CDC は同様のデータで訓練された最先端モデルを上回る性能を示しており、そのロバストネスと一般化能力を実証している。