[論文レビュー] Learning a Discriminative Model for the Perception of Realism in Composite Images

Jun-Yan Zhu, Philipp Krähenbühl+2 more|arXiv (Cornell University)|Oct 2, 2015

Advanced Vision and Imaging参考文献 33被引用数 14

ひとこと要約

本論文では、ラベルなしデータのみを用いて、自然な写真と自動生成された合成画像を区別することで、合成画像における視覚的リアリズムを予測するCNNベースの判別モデルを提案する。モデルは色、照明、テクスチャの整合性といった要因を通じてリアリズムを捉え、自動的な色調補正とオブジェクト選択を支援することで、人間の知覚評価において先行手法を上回る性能を発揮する。

ABSTRACT

What makes an image appear realistic? In this work, we are answering this question from a data-driven perspective by learning the perception of visual realism directly from large amounts of data. In particular, we train a Convolutional Neural Network (CNN) model that distinguishes natural photographs from automatically generated composite images. The model learns to predict visual realism of a scene in terms of color, lighting and texture compatibility, without any human annotations pertaining to it. Our model outperforms previous works that rely on hand-crafted heuristics, for the task of classifying realistic vs. unrealistic photos. Furthermore, we apply our learned model to compute optimal parameters of a compositing method, to maximize the visual realism score predicted by our CNN model. We demonstrate its advantage against existing methods via a human perception study.

研究の動機と目的

• 人間のアノテーションを一切用いずに、合成画像の視覚的リアリズムを評価するデータ駆動型手法の開発。
• 大規模なラベルなし合成画像から直接、色、照明、テクスチャの整合性といった視覚的リアリズムの手がかりを学習すること。
• 学習したモデルを応用し、合成パラメータを最適化することで、自動的にリアリズムを向上させること。
• 人間の知覚評価を用いて、本手法の有効性を既存手法と比較して評価すること。

提案手法

• 大規模なオブジェクト交換合成画像データセットを用いて、自然画像と自動生成合成画像を分類する深層CNNを学習する。
• 学習済みモデルを新しい画像のリアリズムスコア予測器として用い、認識されたリアリズムの順序で合成画像をランク付けする。
• 予測されたリアリズムスコアを最大化するように色マッピング関数を最適化し、不自然な色調シフトを避けるために正則化を適用する。
• 再訓練により新たに生成された性能が低い合成画像（ハードネガティブサンプル）を用いて、CNNを再学習することで、モデルのロバスト性を向上させる。
• 候補となる合成画像をランク付けすることで、データベース内から最もリアリスティックな前景オブジェクトを選択する。
• 信頼性を確保するため、ThurstoneのCase Vモデルを用いたペアワイズの人間比較による評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしの合成画像で学習したCNNは、人間の視覚的リアリズム認識を予測できるか？
• RQ2 モデルはリアリズムに関連する視覚的手がかり（例：色、照明、テクスチャ）をどのように学習しているか？
• RQ3 学習されたリアリズムスコアは、よりリアリストな合成画像を得るために自動色調補正をどのように導くことができるか？
• RQ4 形状ベースやランダム選択と比較して、本モデルは合成におけるオブジェクト選択をどのように改善するか？
• RQ5 人間の知覚評価において、本モデルの性能は先行する最先端の合成手法と比べてどうか？

主な発見

• 本モデルは、合成改善に関する人間評価で0.311のスコアを達成し、[15]（-0.247）および[33]（-0.237）を顕著に上回った。
• ハードネガティブマイニングを3回繰り返した後、モデルのリアリズムスコアは-0.162から0.117に向上し、極端な色調補正が減少した。
• RealismCNN手法は、オブジェクト選択において人間評価で0.285のスコアを達成し、形状ベース選択（-0.033）およびランダム選択（-0.252）を上回った。
• モデルは認識されたリアリズムの順序で合成画像を正しくランク付けできており、意思決定境界付近の画像は大多数の人間被験者によってリアリストと評価された。
• モデルは主に、色、照明、テクスチャの整合性といった低レベルのリアリズム手がかりを捉えているが、高レベルのシーンの意味的構造やレイアウトはモデル化していない。
• 本手法は、多様な画像カテゴリと実世界の背景においても合成結果の向上を示し、一般化能力を示した。