[論文レビュー] Simultaneously Color-Depth Super-Resolution with Conditional Generative Adversarial Network

Lijun Zhao, Huihui Bai+4 more|arXiv (Cornell University)|Aug 30, 2017

Advanced Image Processing Techniques参考文献 3被引用数 13

ひとこと要約

本稿では、低解像度のカラー画像と深度画像の間の相互情報を利用し、敵対的損失、データ損失、全変動損失、勾配差損失を組み合わせることで、同時にカラー画像および深度画像のスーパーレゾリューションを実現する条件付き生成対抗ネットワーク（CDcGAN）を提案する。この手法は、最先端の手法よりも優れた知覚的品質とシャープネスを達成しており、併せて統合的な画像平滑化とエッジ検出の成功を収めている。

ABSTRACT

Recently, Generative Adversarial Network (GAN) has been found wide applications in style transfer, image-to-image translation and image super-resolution. In this paper, a color-depth conditional GAN is proposed to concurrently resolve the problems of depth super-resolution and color super-resolution in 3D videos. Firstly, given the low-resolution depth image and low-resolution color image, a generative network is proposed to leverage mutual information of color image and depth image to enhance each other in consideration of the geometry structural dependency of color-depth image in the same scene. Secondly, three loss functions, including data loss, total variation loss, and 8-connected gradient difference loss are introduced to train this generative network in order to keep generated images close to the real ones, in addition to the adversarial loss. Experimental results demonstrate that the proposed approach produces high-quality color image and depth image from low-quality image pair, and it is superior to several other leading methods. Besides, we use the same neural network framework to resolve the problem of image smoothing and edge detection at the same time.

研究の動機と目的

• 3Dビデオ応用における低解像度カラー画像および深度画像の同時向上に課題を提示する。
• カラー画像と深度画像の間の構造的・幾何的依存関係を活用し、スーパーレゾリューション性能を向上させる。
• 従来の手法が深度スーパーレゾリューションにおいてテクスチャの複製アーチファクトやぼやけたエッジを抱えるという限界を克服する。
• スーパーレゾリューション、平滑化、エッジ検出といった複数の画像修復タスクを統合的に処理できる包括的なディーブラーニングフレームワークを開発する。
• 平均二乗誤差ベースの最適化を超えて、知覚的品質と高周波数ディテールの回復を向上させる。

提案手法

• 低解像度カラー画像および深度画像ペアを条件として用いる条件付きGANアーキテクチャ（CDcGAN）を提案し、高解像度出力を生成する。
• 敵対的損失に加え、データ損失、全変動（TV）損失、およびL1ノルムを用いた8連結勾配差損失の3つの補助損失を統合し、訓練の安定化とリアリスティックさの向上を図る。
• スキップ接続とリーマン学習を用いて、微細なディテールを保持し、スケール間での有効な特徴伝搬を実現する。
• 結合損失関数の最小化により、ジェネレータを高解像度カラー画像および深度画像の再構成に訓練させ、構造的一致性とエッジのシャープネスを促進する。
• 学習済みのCDcGANを、勾配および構造的特徴を活用することで、画像平滑化やエッジ検出といった後続タスクに応用する。
• 画像ドメインおよび勾配ドメインの両方でネットワークを適用し、L0最小化と同等のエッジ保持型平滑化を実現する。

実験結果

リサーチクエスチョン

• RQ1 構造的依存関係を活用することで、条件付きGANがカラー画像と深度画像を同時にスーパーレゾリューションする能力を効果的に学習できるか？
• RQ2 補助損失（TV、勾配差、データ損失）は、スーパーレゾリューションにおける知覚的品質の向上とアーチファクトの低減にどのように寄与するか？
• RQ3 提案手法は、従来のフィルタリングベース、最適化ベース、CNNベースの統合的スーパーレゾリューション手法をどの程度上回るか？
• RQ4 同じ訓練済みアーキテクチャを、画像平滑化やエッジ検出といった関連画像修復タスクに効果的に再利用できるか？
• RQ5 本手法は、深度画像スーパーレゾリューションで一般的に見られるアーチファクト（テクスチャの複製、深度の漏れ）を緩和できるか？

主な発見

• PSNRおよびSSIMスコアはやや低くても、CDcGANはSRCNNやVDSRと比較して、カラーおよび深度のスーパーレゾルブ画像において優れた知覚的品質とシャープなエッジを実現している。
• 視覚的結果から、CDcGANはSRCNNや他のベースライン手法がよく見られる深刻なアーチファクト（特に高周波成分領域）を回避していることが示された。
• 本手法は、より鋭い境界と低減された漏れアーチファクトを実現し、前景抽出や深度ベースレンダリングといった後続応用を向上させている。
• 画像平滑化およびエッジ検出への一般化性能が高く、勾配ドメインにおけるL0勾配最小化と同等の結果を生成している。
• TV損失および8連結勾配差損失の使用により、アーチファクトが顕著に低減され、エッジ保持性能が向上しており、L2またはL1データ損失に依存する手法を上回っている。
• HQDU や MRF といった、高解像度カラー画像を事前知識として用いる高度な最適化ベース手法でさえも、CDcGANは同等以上の性能を示しており、そのロバストネスと効率性を示している。