[論文レビュー] Thermal Infrared Colorization via Conditional Generative Adversarial Network

Xiaodong Kuang, Xiubao Sui+4 more|arXiv (Cornell University)|Oct 12, 2018

Generative Adversarial Networks and Image Synthesis参考文献 17被引用数 10

ひとこと要約

本稿では、粗大から詳細へのジェネレータを備えた条件付き生成対抗ネットワーク（cGAN）を提案し、熱赤外画像を現実的なRGBカラー画像に変換する。コンテンツ損失、対抗損失、知覚損失、全変動損失を組み合わせることで、グローバル構造の保持と現実的なテクスチャ生成という点で、従来の手法を定量的・定性的に上回る優れた性能を達成する。

ABSTRACT

Transforming a thermal infrared image into a realistic RGB image is a challenging task. In this paper we propose a deep learning method to bridge this gap. We propose learning the transformation mapping using a coarse-to-fine generator that preserves the details. Since the standard mean squared loss cannot penalize the distance between colorized and ground truth images well, we propose a composite loss function that combines content, adversarial, perceptual and total variation losses. The content loss is used to recover global image information while the latter three losses are used to synthesize local realistic textures. Quantitative and qualitative experiments demonstrate that our approach significantly outperforms existing approaches.

研究の動機と目的

• モノクロの熱赤外画像を写真のようにリアルなRGB画像に変換する課題に対処すること。
• 顕在的品質とテクスチャのリアルさを保持する上で、標準的な平均二乗誤差損失の限界を克服すること。
• 構造的ディテールを維持しながら高精度なカラーリング出力を生成するためのディープラーニングフレームワークを開発すること。
• コンテンツ損失、対抗損失、知覚損失、全変動損失といった複数の損失成分を統合した複合損失関数を通じて、画像合成品質を向上させること。

提案手法

• 粗大から詳細へのジェネレータアーキテクチャを用い、段階的に画像ディテールを精錬し、構造的忠実性を保持する。
• 複合損失関数は、グローバル構造のためのコンテンツ損失、リアルさのための対抗損失、テクスチャ類似度のための知覚損失、滑らかさのための全変動損失を統合する。
• 条件付きGANフレームワークにより、入力の熱赤外画像を条件として、対応するRGB出力を生成する。
• ディスクライマーは、実際のRGB画像と生成画像を区別するように学習させ、リアルなテクスチャ生成を促進する。
• 知覚損失は、事前学習済みのVGGネットワークの特徴量を用いて計算され、生成画像と実際の画像を特徴レベルで一致させる。
• 全体の訓練目的は、生成器が複合損失を最小化するとともにディスクライマーを欺くように最適化する。

実験結果

リサーチクエスチョン

• RQ1 条件付きGANは、顕在的品質が高く、顕在的品質に優れた熱赤外画像からRGB画像へのマッピングを効果的に学習できるか？
• RQ2 複数の損失タイプを統合した複合損失関数は、標準的な平均二乗誤差損失と比較して、色付け性能をどのように向上させるか？
• RQ3 粗大から詳細へのジェネレータは、熱赤外からRGBへの変換中に、細かなディテールをどの程度保持できるか？
• RQ4 知覚損失と対抗損失を含めることで、ベースライン手法と比較して、よりリアルなテクスチャ生成が達成できるか？

主な発見

• 提案手法は、定量的指標と視覚的品質の両面で、従来の最先端手法を顕著に上回っている。
• 複合損失関数は、単に平均二乗誤差を使用する場合と比較して、よりリアルなテクスチャと構造的ディテールの保持を実現している。
• 知覚損失と対抗損失の貢献により、ベースライン手法との定性的比較で、リアルさの向上が確認された。
• 粗大から詳細へのジェネレータ設計により、エッジやテクスチャのような複雑な領域でのディテール回復が向上した。
• ベンチマークデータセットにおいて、PSNRとSSIM指標で測定可能な向上を達成し、優れた性能を発揮した。
• 視覚的結果から、競合手法と比較して生成画像がより自然で視覚的に信憑性があることが示された。