[論文レビュー] Adversarial Image Composition with Auxiliary Illumination

Fangneng Zhan, Shijian Lu+3 more|arXiv (Cornell University)|Sep 17, 2020

Generative Adversarial Networks and Image Synthesis参考文献 58被引用数 8

ひとこと要約

本稿では、分岐型生成器、補助照度モデル、および微分可能な空間変換器を用いて、局所的・グローバルな調和化を統合的に最適化することで、前景のスタイル変換と現実的な影生成を同時に学習する生成的敵対ネットワーク、AIC-Netを提案する。この手法は、歩行者および自動車の画像合成タスクにおいて、定性的および定量的な評価で最先端の性能を達成した。

ABSTRACT

Dealing with the inconsistency between a foreground object and a background image is a challenging task in high-fidelity image composition. State-of-the-art methods strive to harmonize the composed image by adapting the style of foreground objects to be compatible with the background image, whereas the potential shadow of foreground objects within the composed image which is critical to the composition realism is largely neglected. In this paper, we propose an Adversarial Image Composition Net (AIC-Net) that achieves realistic image composition by considering potential shadows that the foreground object projects in the composed image. A novel branched generation mechanism is proposed, which disentangles the generation of shadows and the transfer of foreground styles for optimal accomplishment of the two tasks simultaneously. A differentiable spatial transformation module is designed which bridges the local harmonization and the global harmonization to achieve their joint optimization effectively. Extensive experiments on pedestrian and car composition tasks show that the proposed AIC-Net achieves superior composition performance qualitatively and quantitatively.

研究の動機と目的

• 既存の画像合成手法において、スタイル調和化の進展にもかかわらず視覚的忠実度を損なう現実的な影効果の欠如に対処すること。
• 統一フレームワーク内で影生成とスタイル変換を分離し、両タスクを同時に最適化すること。
• 背景から照度方向と強度を推定する補助照度モデルを活用することで、適応的かつ文脈に応じた影合成を可能にすること。
• 微分可能な空間変換器モジュールを用いて局所的およびグローバルな調和化を橋渡し、両者の最適化を統合すること。
• テクスチャおよび境界の整合性を保持した高精細でアーティファクトのない画像合成を達成すること。

提案手法

• AIC-Netは、前景スタイルの生成と投影影の生成を分離する分岐型生成器アーキテクチャを採用しており、独立的かつ協調的な最適化を可能にする。
• 補助照度モデルは、背景画像から照度条件（例：方向、強度）を推定し、現実的な影生成をガイドする。
• 微分可能な空間変換器モジュールは、局所的調和化結果とグローバル背景を整列させ、局所的およびグローバルな画像整合性の共同最適化を可能にする。
• 2つの識別器が使用される：局所的識別器は前景領域の現実性（スタイルおよび影）を評価し、グローバル識別器は全体の画像整合性および合成品質を評価する。
• 生成器はGAN損失を用いて敵対的学習され、テクスチャの保持とアーティファクトの低減を目的に、追加で感知的損失およびL1損失が適用される。
• ガイド付き特徴フィルタは、スタイル変換中にテクスチャ忠実度を向上させ、ぼやけを防ぎ、微細なディテールを保持する。

実験結果

リサーチクエスチョン

• RQ1 統一されたディープラーニングフレームワークは、画像合成におけるスタイル変換と影生成の分離と共同最適化を効果的に実現できるか？
• RQ2 補助照度モデルを組み込むことで、生成された影の現実性と適応性はどのように向上するか？
• RQ3 微分可能な空間変換器は、合成画像における局所的およびグローバルな調和化の整合性をどの程度向上させるか？
• RQ4 分岐型生成器、照度モデル、空間変換器といった個々のモジュールは、アブレーションバージョンと比較して、全体の性能にどの程度寄与しているか？
• RQ5 モデルは、影構造の明示的教師信号なしに、多様な照明環境やオブジェクトタイプに一般化可能か？

主な発見

• AIC-Netは、グローバル調和化でFIDスコア81.8、ローカル調和化で90.8を達成し、アブレーションバージョンを著しく上回った。
• AMTユーザースタディの結果、AIC-Netが生成したグローバル調和化画像の29%が最も現実的であると評価され、すべてのアブレーションモデルを上回った。
• アブレーションスタディにより、照度モデルを削除した場合（AIC-Net(WI)）のAMTスコアが17%に低下し、そのモデルが現実的な影生成において極めて重要な役割を果たしていることが確認された。
• 空間変換器モジュールはグローバル整合性に不可欠であり、これを削除した場合（AIC-Net(WS)）では、グローバルFIDが10ポイント低下し、AMTスコアも13%低下した。
• 分岐型生成機構は、非分岐ベースラインと比較してFIDで5%、AMTで5%の性能向上を示し、タスクの分離効果を実証した。
• ガイド付き特徴フィルタは、テクスチャ劣化を低減し、これを除去した場合のMSスコアはベースライン比で10%向上したことが示された。