[論文レビュー] X-GANs: Image Reconstruction Made Easy for Extreme Cases

Longfei Liu, Sheng Li+2 more|arXiv (Cornell University)|Aug 6, 2018

AI in cancer detection参考文献 30被引用数 10

ひとこと要約

本稿では、VGGの知覚的損失、対抗的知覚的損失、および対応点損失を統合した、新しいジェネレータとマルチスケールディスクライマを備えた条件付き生成的対抗的ネットワーク、X-GANsを提案する。この手法は、ノイズ除去、スパースサンプリング、穴埋め、色ノイズが支配的な画像など、極端な画像復元事例において、最先端の性能を達成し、従来手法に比べて知覚的品質およびPSNR/SSIMが顕著に向上する。

ABSTRACT

Image reconstruction including image restoration and denoising is a challenging problem in the field of image computing. We present a new method, called X-GANs, for reconstruction of arbitrary corrupted resource based on a variant of conditional generative adversarial networks (conditional GANs). In our method, a novel generator and multi-scale discriminators are proposed, as well as the combined adversarial losses, which integrate a VGG perceptual loss, an adversarial perceptual loss, and an elaborate corresponding point loss together based on the analysis of image feature. Our conditional GANs have enabled a variety of applications in image reconstruction, including image denoising, image restoration from quite a sparse sampling, image inpainting, image recovery from the severely polluted block or even color-noise dominated images, which are extreme cases and haven't been addressed in the status quo. We have significantly improved the accuracy and quality of image reconstruction. Extensive perceptual experiments on datasets ranging from human faces to natural scenes demonstrate that images reconstructed by the presented approach are considerably more realistic than alternative work. Our method can also be extended to handle high-ratio image compression.

研究の動機と目的

• >80%の画素が欠損している、または高色ノイズを含むような極めてスパースまたは重度に損傷を受けた入力からの画像復元という課題に対処すること。
• 標準的なGANが大規模画像や極度のデータ不足に対処する際の限界を克服するため、安定的かつスケーラブルなアーキテクチャを設計すること。
• PSNR や SSIM といった従来の指標をはるかに超える、知覚的リアリズムと構造的忠実性を向上させること。
• スパースサンプリング、複雑なテクスチャを有する穴埋め、高ノイズ環境など、極端な状況における堅牢な画像回復を可能にすること。
• 一貫した訓練プロトコルのもとで、人間の顔（CelebA）や自然風景（SUN397）を含む多様なデータセットに一般化できることを示すこと。

提案手法

• 最小限の入力サンプルからの画像復元を目的とした、新規のジェネレータアーキテクチャを備えた条件付きGANフレームワークを提案する。
• 異なる画像スケールにおける特徴レベルの識別を向上させ、訓練の安定性を高めるために、マルチスケールディスクライマを導入する。
• 3つの損失成分を統合する：高レベルの意味的整合性を保つためのVGG知覚的損失、リアリズムを向上させるための対抗的知覚的損失、空間的構造を保持するための対応点損失。
• Sobel や Canny エッジ検出器を用いて、勾配が急な領域に離散的サンプリング点を配置するように誘導し、顕著な領域における復元精度を向上させる。
• L2、L1、知覚的項をバランスさせる複合損失関数を最適化することで訓練プロセスを最適化し、アブレーションスタディではL2損失が優れた性能を示した。
• 画像のノイズ除去、穴埋め、スーパーレゾリューション、高比率圧縮回復など、多様なタスクにモデルを適用し、広範な適用可能性を示した。

実験結果

リサーチクエスチョン

• RQ1 条件付きGANフレームワークは、密度の高い教師信号に依存せずに、>80%の画素が欠損しているような極めてスパースまたは損傷を受けた入力からの高品質な画像復元を達成できるか？
• RQ2 マルチスケールディスクライマとマルチ次元損失（知覚的、対抗的、対応関係）の統合が、復元の安定性とリアリズムをどのように向上させるか？
• RQ3 Sobel/Cannyを用いたエッジ誘導型サンプリングは、ランダムサンプリングと比較して、データが少ない状況下での復元品質をどの程度向上させるか？
• RQ4 色ノイズが支配的またはブロックごとに損傷を受けた画像のような、従来手法が失敗する極端な状況下での、本手法の性能はいかがなものか？
• RQ5 同じ訓練済みモデルが、微調整やドメイン特化の適応なしに、CelebAとSUN397のような異なる画像ドメイン間で一般化可能か？

主な発見

• 白いブロックノイズ（128x128）がかかるCelebAデータセットにおいて、X-GANsは24.99 dBのPSNRと0.85のSSIMを達成し、従来手法（21.88 dB PSNR、0.68 SSIM）を上回った。
• 色ブロックノイズの状況では、X-GANsは23.16 dBのPSNRと0.82のSSIMを達成し、ベースライン（21.83 dB PSNR、0.67 SSIM）を顕著に上回った。
• 色ノイズ環境下では、Gaoら（2017）と比較して、X-GANsはよりリアルで詳細な再構成を生成したことが、定性的および定量的評価で確認された。
• アブレーションスタディでは、L2損失がL1およびノーロスベースラインを上回り、正確性と滑らかさの最適なトレードオフを示した。
• エッジ誘導型サンプリング（Sobelベース）は、顔の特徴など顕著な領域において、ランダムサンプリングに比べて復元品質を向上させた。
• モデルはデータセット間で堅牢性を示した：顔画像（CelebA）では一般風景（SUN397）よりも高い復元品質を達成しており、ドメイン依存の性能差が示された。