[論文レビュー] Attention-based Fusion for Multi-source Human Image Generation

Stéphane Lathuilière, Enver Sangineto+2 more|arXiv (Cornell University)|May 7, 2019

Generative Adversarial Networks and Image Synthesis参考文献 34被引用数 9

ひとこと要約

本論文は、ターゲットポーズと複数のソースアピアランス画像から人物画像を合成する、アテンションベースの統合メカニズムを提案する。ポーズガイドド特徴アライメントと、動的に複数のソース間で特徴を統合する学習可能なアテンションモジュールを導入することで、特にソース画像の数が変動する状況下でも、優れた画像品質と頑健性を達成し、Market-1501およびDeepFashionデータセットにおいてベースラインを上回る性能を発揮する。

ABSTRACT

We present a generalization of the person-image generation task, in which a human image is generated conditioned on a target pose and a set X of source appearance images. In this way, we can exploit multiple, possibly complementary images of the same person which are usually available at training and at testing time. The solution we propose is mainly based on a local attention mechanism which selects relevant information from different source image regions, avoiding the necessity to build specific generators for each specific cardinality of X. The empirical evaluation of our method shows the practical interest of addressing the person-image generation problem in a multi-source setting.

研究の動機と目的

• 単一のソース画像ではなく、複数のソースアピアランス画像を条件として用いることで、人物画像生成タスクの一般化を図ること。
• 事前に固定されていないソース画像の数を伴う多ソース設定における、入力の基数の可変性という課題に対処すること。
• 特に遮蔽やノイズ下でも、複数のソース画像からの補完的情報を活用することで、画像の忠実度と詳細の正確性を向上させること。
• 異なる数のソース画像に対応するための再トレーニングやアーキテクチャの変更を回避できる、柔軟でスケーラブルなアーキテクチャを設計すること。
• 高品質な画像合成に向けた、複数ソース表現の統合において、アテンションベースの特徴統合の有効性を検証すること。

提案手法

• 各解像度レベルで複数のソース画像からの特徴を統合するアテンションベースのデコーダーを備えた、変更されたU-Netジェネレータを提案する。
• 各ソース画像をターゲットポーズに従って変形するポーズガイドド特徴エンコーダーを導入し、統合の前に空間的アライメントを可能にする。
• ソースおよび位置に特化した重みを計算する学習可能なアテンション機構を採用し、複数のソース間で最も情報量の多い領域を強調する。
• 任意の数のソース画像を処理できる単一のディスクラミネーターを用いたマルチソース条件付きGAN損失を採用し、一貫性と現実性を保証する。
• エンコーダーとデコーダーの間のスキップ接続を採用するが、標準的な特徴平均化の代わりにアテンションベースの統合を採用することで、特徴選択を改善する。
• 空間的位置とソースインデックスの両方にわたってアテンションマップを計算する2次元アテンションモジュールを導入し、動的で文脈に適応した統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 複数のソースアピアランス画像を用いることで、単一ソース手法と比較して、人物画像生成の品質と頑健性が向上するか？
• RQ2 アーキテクチャの再トレーニングなしに、可変な数のソース画像からの特徴を効果的に統合できる深層生成モデルはどのように設計できるか？
• RQ3 ポーズガイドド特徴アライメントは、多ソース設定におけるアテンションベースの統合性能にどのような影響を及えるか？
• RQ4 アテンションベースの特徴選択は、単純な平均化や連結処理に比べて、多ソース画像生成において優れているか？
• RQ5 2枚と5枚のソース画像の両方において、本手法は画像品質と詳細の正確性の観点から、異なる数のソース画像に対しどのように一般化するか？

主な発見

• アテンションベースの統合を備えた完全モデルは、Market-1501およびDeepFashionデータセットの両方で最高のFréchet Inception Distance (FID) と Inception Score (IS) を達成し、2枚のソース画像を使用した場合、Market-1501ではISが3.474、DeepFashionでは3.421を記録した。
• アブレーションスタディの結果、ポーズガイドド特徴アライメントを削除した場合（Avg No-d）、Market-1501におけるSSIMが0.294から0.258に著しく低下し、空間的アライメントの重要性が確認された。
• 5枚のソース画像を用いた場合、完全モデルはMarket-1501でmask-SSIM 0.788、DeepFashionで0.774を達成し、ベースラインのAvg手法よりもそれぞれ0.026および0.018高い性能を示した。
• アテンションベースのモデル（Full）は、アーチファクトを低減させ、詳細の生成を向上させた。特に、ロゴや帽子の詳細をよりよく保持している、定性的な比較で明確に示された。
• 2Dアテンションバージョンは、より高いSSIMを達成したが、完全モデルよりもISが低く、構造的忠実度と知覚的品質の間のトレードオフが示された。
• 本手法は、アーキテクチャの変更なしに、2枚と5枚のソース画像の両方において高い性能を維持するという、可変入力基数に対する頑健性を示した。