[論文レビュー] Deep Feature Consistent Deep Image Transformations: Downscaling, Decolorization and HDR Tone Mapping

Xianxu Hou, Jiang Duan+1 more|arXiv (Cornell University)|Jul 29, 2017

Image Enhancement Techniques参考文献 43被引用数 26

ひとこと要約

本論文では、事前学習済みの畳み込みニューラルネットワーク（CNN）を介して入力と出力の特徴量の整合性を強制することで、困難な1対多の画像変換—縮小、グレースケール化、HDRトーンマッピング—を統合的に扱う、Deep Feature Consistent Deep Image Transformation（DFC-DIT）フレームワークを提案する。本手法は、深層特徴量から導出される知覚的損失を活用することで、教師データが不要な状態で視覚的整合性を維持する。その結果、最先端の性能を達成する。

ABSTRACT

Building on crucial insights into the determining factors of the visual integrity of an image and the property of deep convolutional neural network (CNN), we have developed the Deep Feature Consistent Deep Image Transformation (DFC-DIT) framework which unifies challenging one-to-many mapping image processing problems such as image downscaling, decolorization (colour to grayscale conversion) and high dynamic range (HDR) image tone mapping. We train one CNN as a non-linear mapper to transform an input image to an output image following what we term the deep feature consistency principle which is enforced through another pretrained and fixed deep CNN. This is the first work that uses deep learning to solve and unify these three common image processing tasks. We present experimental results to demonstrate the effectiveness of the DFC-DIT technique and its state of the art performances.

研究の動機と目的

• 縮小、グレースケール化、HDRトーンマッピングといった、一意な教師データが存在しない画像変換タスクの本質的な不適切性（ill-posed nature）に対処すること。
• 教師データが不要な状態で、知覚的品質を保ちながら、これらの異なる画像処理タスクを統合的に扱う1つの深層学習フレームワークを構築すること。
• 空間的相関関係と視覚的整合性を変換全体で維持する、深層特徴量の一貫性に基づく学習目的を設計すること。
• 1つの訓練済みCNNが、複数の画像変換タスクにおいて、専用の手法を上回ることを実証すること。

提案手法

• DFC-DITフレームワークは、入力画像を出力画像に写像するための学習可能なCNNを変換ネットワークとして使用する。
• 入力画像および出力画像の両方から、事前学習済みで固定された深層CNN（例：VGG）を用いて深層特徴量を抽出する。
• 知覚的損失は、複数の層における入力画像と出力画像の深層特徴量のL2距離として計算される。
• 変換ネットワークは、知覚的損失を最小化することで、エンドツーエンドに訓練され、高レベルの空間的相関関係および意味的コンテンツが維持される。
• 各タスクに応じて、タスク固有の入出力制約および損失重み戦略を定義することで、フレームワークを適応させる。
• 教師データが不要であり、損失は固定された深層ネットワークとの特徴量の一貫性に基づく。

実験結果

リサーチクエスチョン

• RQ1 統合的深層学習フレームワークは、縮小、グレースケール化、HDRトーンマッピングといった多様な画像変換タスクを効果的に処理できるか？
• RQ2 教師データが存在しない1対多の画像変換において、どのようにして知覚的品質を維持できるか？
• RQ3 事前学習済みCNNの深層特徴量は、画像変換において人間の視覚的知覚を信頼できる代理として機能できるか？
• RQ4 深層特徴量の一貫性は、主観的および客観的評価において、従来の手法や既存の学習ベース手法を上回ることができるか？

主な発見

• DFC-DITフレームワークは、定量的指標および主観的評価の両方において、すべての3つのタスク（縮小、グレースケール化、HDRトーンマッピング）で最先端の性能を達成した。
• 50名の参加者による主観的評価では、縮小、グレースケール化、HDRトーンマッピングの全タスクにおいて、DFC-DITの出力がすべてのベンチマーク手法を統計的に有意に上回った。
• 画像の縮小において、DFC-DITはアンサンブル法やSSIMベースの手法よりもアーリアシングアーチファクトを低減し、微細なディテールをよりよく保持した。
• グレースケール化において、DFC-DITは輝度法やLuらの最先端手法よりも自然なグレースケール画像を生成し、過剰に強調されたコントラストを回避した。
• HDRトーンマッピングにおいて、DFC-DITは高速バイリューションフィルターや他の優れた手法よりも好まれ、局所コントラストおよび色の外観をよりよく保持した。
• 事前学習済みCNN（例：VGG）の複数層からの深層特徴量の使用により、単一層や手作業で設計された指標よりも優れた知覚的整合性が実現された。