[論文レビュー] Example-Guided Image Synthesis across Arbitrary Scenes using Masked Spatial-Channel Attention and Self-Supervision

Haitian Zheng, Haofu Liao+4 more|arXiv (Cornell University)|Apr 18, 2020

Generative Adversarial Networks and Image Synthesis参考文献 46被引用数 4

ひとこと要約

本稿では、自己教師あり学習とアテンションベースの特徴一致を用いて、任意の意味的・構造的に異なるシーン間で例示画像を用いた画像合成を実現する新規手法を提案する。マスク付き空間チャネルアテンション（MSCA）モジュールを導入し、グローバル・ローカル特徴の統合的一致と合成を可能にし、COCO-stuffデータセットで最先端の性能を達成するとともに、スタイルの内挿・外挿・入れ替えへの解釈可能性と一般化性能が向上した。

ABSTRACT

Example-guided image synthesis has recently been attempted to synthesize an image from a semantic label map and an exemplary image. In the task, the additional exemplar image provides the style guidance that controls the appearance of the synthesized output. Despite the controllability advantage, the existing models are designed on datasets with specific and roughly aligned objects. In this paper, we tackle a more challenging and general task, where the exemplar is an arbitrary scene image that is semantically different from the given label map. To this end, we first propose a Masked Spatial-Channel Attention (MSCA) module which models the correspondence between two arbitrary scenes via efficient decoupled attention. Next, we propose an end-to-end network for joint global and local feature alignment and synthesis. Finally, we propose a novel self-supervision task to enable training. Experiments on the large-scale and more diverse COCO-stuff dataset show significant improvements over the existing methods. Moreover, our approach provides interpretability and can be readily extended to other content manipulation tasks including style and spatial interpolation or extrapolation.

研究の動機と目的

• 画像合成における意味的・構造的に異なるシーン間のスタイル転送の課題に対処すること。
• 従来手法が例示マップとラベルマップに一致するか類似した対象を必要としているという制限を克服すること。
• 対応するトレーニングデータを必要とせず、任意の例示画像を用いてユーザー制御可能なスタイル合成を可能にすること。
• 動画やペアドタイムスタンプデータに依存しない自己教師あり学習スキームの開発。
• 解釈可能性を提供するとともに、スタイル内挿・シーン外挿などのタスクへの拡張性を高めること。

提案手法

• 意味ラベルマップと例示画像の特徴間のクロスアテンションをモデル化するため、マスク付き空間チャネルアテンション（MSCA）モジュールを導入する。
• 空間的アテンションとチャネルアテンションを分離することで、非一致シーン間での効率的かつ解釈可能な特徴伝搬を実現する。
• 特徴マスキングを組み込むことで、意味的外れな特徴をフィルタリングし、対応関係のモデリングを向上させる。
• マルチスケールおよび解像度拡張処理を適用し、グローバルおよびローカル特徴の一致を処理する。
• 整列済み特徴上での空間的制御可能な画像合成にSPADEを適用する。
• 動画や時間的データを一切使用せず、意味解析済み画像のみを用いたパッチベースの自己教師あり学習タスクを設計し、エンド・トゥ・エンドのトレーニングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 動画やペアドタイムスタンプデータを一切必要としない自己教師ありフレームワークは、例示画像を用いた画像合成モデルの効果的学習を可能にするか？
• RQ2 空間的・チャネル的アテンションの分離を施したクロスアテンション機構は、構造的・意味的に異なるシーン間で正確な特徴対応関係を確立できるか？
• RQ3 本モデルは、スタイル内挿・外挿を含む任意のシーン転送にどの程度一般化できるか？
• RQ4 従来のアテンションベース手法と比較して、提案されたMSCAモジュールは特徴一致と合成品質をどの程度向上させるか？
• RQ5 複雑で多様なシーンスタイルを新しい意味的レイアウトに転送する際、モデルはスタイルの一貫性を維持できるか？

主な発見

• 提案手法は、大規模なCOCO-stuffデータセットにおいて、既存手法と比較して顕著な性能向上を達成した。
• 雪の山脈、海岸、都市部、砂漠など、多様で意味的に異なるシーン間でも、良好な一般化性能を示した。
• 最小限の修正と追加トレーニングで、複数の例示スタイル間での有効なスタイル内挿が可能になった。
• 意味的ガイダンスを用いて、入力画像の境界外に現実的と思われるコンテンツを生成することで、シーン外挿を成功裏に実行した。
• アテンション機構により解釈可能性が得られ、可視化されたアテンションマップは意味的対応（例：空 → 雲、雪 → 沙）を明確に示した。
• 自己教師あり学習スキームにより、動画や時間的データを一切使用せず、意味アノテーションのみで効果的な学習が可能になった。