[論文レビュー] Divide-and-Conquer Adversarial Learning for High-Resolution Image and Video Enhancement

Zhiwu Huang, Danda Pani Paudel+4 more|arXiv (Cornell University)|Oct 23, 2019

Advanced Image Processing Techniques参考文献 52被引用数 7

ひとこと要約

本稿では、高解像度画像および動画の強化のための弱教師付き深層学習フレームワークとして、分割統治的敵対的学習（DACAL）を提案する。この手法は、知覚、周波数、次元に基づく部分問題に段階的に分解することで、強化を実現する。マルチスケールおよび再帰的学習を統合することで、知覚的品質、色の忠実度、テクスチャのシャープネス、時間的整合性において最先端の性能を達成し、画像および動画のベンチマークにおいてWESPE や DPE といった手法を上回る。

ABSTRACT

This paper introduces a divide-and-conquer inspired adversarial learning (DACAL) approach for photo enhancement. The key idea is to decompose the photo enhancement process into hierarchically multiple sub-problems, which can be better conquered from bottom to up. On the top level, we propose a perception-based division to learn additive and multiplicative components, required to translate a low-quality image or video into its high-quality counterpart. On the intermediate level, we use a frequency-based division with generative adversarial network (GAN) to weakly supervise the photo enhancement process. On the lower level, we design a dimension-based division that enables the GAN model to better approximates the distribution distance on multiple independent one-dimensional data to train the GAN model. While considering all three hierarchies, we develop multiscale and recurrent training approaches to optimize the image and video enhancement process in a weakly-supervised manner. Both quantitative and qualitative results clearly demonstrate that the proposed DACAL achieves the state-of-the-art performance for high-resolution image and video enhancement.

研究の動機と目的

• ピクセル単位のペアデータを必要とせずに、照明が悪い、コントラストが低い、ノイズが多いなど、混合された知覚的品質を示す高解像度画像および動画の強化に挑戦すること。
• 高価で整列済みの低品質および高品質画像ペアに依存する完全教師あり手法の限界を克服すること。
• マルチコンponentの強化に苦労し、高解像度環境下で空間的・時間的整合性に欠ける弱教師付き GAN ベースの手法を改善すること。
• 空間的および時間的整合性を維持しながら、スケーラブルで安定的かつ知覚的に頑健な強化フレームワークを構築すること。

提案手法

• 知覚ベース（加法的および乗法的成分）、周波数ベース（弱教師付きの GAN を通じて）、次元ベース（1次元の分布近似による GAN 訓練の改善）の3つの部分問題に強化タスクを段階的に分解するハイアラルキカルな分割統治戦略を提案する。
• 高解像度の詳細を保持し、空間的整合性を損なうダウンスケーリングやパッチ単位の処理を回避するため、マルチスケール訓練戦略を導入する。
• フレーム単位の特徴伝搬を活用することで、時間的整合性を強化する再帰的拡張を用いて、動画強化における時間的整合性を確保する。
• ディスクライマーが高品質画像の分布を学習する弱教師付き GAN 目的関数を用い、ジェネレータが低品質入力を知覚的に現実的な出力にマッピングするようにガイドする。
• 照明、色、テクスチャの調整を別々に扱うが相互に依存する成分としてモデル化するため、知覚ベースの分割を適用する。
• 独立した1次元データストリーム間の分布距離を近似することで、GAN 訓練の安定性を向上させる次元ベースの分解を活用する。

実験結果

リサーチクエスチョン

• RQ1 知覚、周波数、次元に基づく部分問題に画像強化を段階的に分解することで、弱教師付き GAN ベースの強化モデルの性能が向上するか？
• RQ2 マルチスケールおよび再帰的訓練戦略は、高解像度画像および動画強化における空間的および時間的整合性をどのように向上させるか？
• RQ3 提案された DACAL フレームワークは、WESPE や DPE といった既存の弱教師付き手法と比較して、知覚的品質およびアーティファクト低減の面でどの程度優れているか？
• RQ4 分割統治のパラダイムは、敵対的学習に効果的に適用可能であり、高解像度強化タスクにおける訓練の安定性および分布近似の向上に寄与するか？

主な発見

• DACAL は、完全な階層的分解（l+f+d）を用いて DPED データセットで PSNR 20.90、SSIM 0.874 を達成し、WESPE（17.45 PSNR）および DPE（18.53 PSNR）を大きく上回った。
• HuaweiM20Pro-Flickr データセットでは、ユーザー研究において入力画像に対して 366:34 の好ましさ比を示し、WESPE（341:59）および DPE（360:40）を上回った。
• 動画強化において、DACAL の再帰的バージョンは、DPE のようなフレーム単位の手法と比較して、時間的アーティファクトおよび動く物体の整合性の欠如を低減した。特に、高品質な参照画像で微調整した後は顕著であった。
• 定性的な結果から、DACAL は特に低照度および過露出領域において、優れた色再現、テクスチャのシャープネス、照明調整を実現した。
• WESPE で一般的な過露出（主な欠陥）や DPE の限界であるテクスチャ劣化を効果的に回避し、多様な画像状況において頑健であることを示した。
• ユーザー調査では、DPED データセットにおいて、Adobe のプロフェッショナルリタッチングを 400 回中 395 回の投票で上回った。これは、知覚的に顕著な優位性を示している。