[論文レビュー] Sequential Attention GAN for Interactive Image Editing

Yu Cheng, Zhe Gan+3 more|arXiv (Cornell University)|Dec 20, 2018

Multimodal Machine Learning Applications参考文献 47被引用数 7

ひとこと要約

本論文では、複数回の自然言語フィードバックによるインタラクティブな画像編集を可能にする、順序付きアテンション GAN である SeqAttnGAN を提案する。ニューラルステートトラッカー、順序付きアテンション、DAMSM ベースの正則化子を統合することで、編集ステップ間で視覚的整合性とテキスト-画像整合性を維持し、画像品質、一貫性、関連性の面で SOTA メソッドを上回る性能を示した。

ABSTRACT

Most existing text-to-image synthesis tasks are static single-turn generation, based on pre-defined textual descriptions of images. To explore more practical and interactive real-life applications, we introduce a new task - Interactive Image Editing, where users can guide an agent to edit images via multi-turn textual commands on-the-fly. In each session, the agent takes a natural language description from the user as the input and modifies the image generated in the previous turn to a new design, following the user description. The main challenges in this sequential and interactive image generation task are two-fold: 1) contextual consistency between a generated image and the provided textual description; 2) step-by-step region-level modification to maintain visual consistency across the generated image sequence in each session. To address these challenges, we propose a novel Sequential Attention Generative Adversarial Net-work (SeqAttnGAN), which applies a neural state tracker to encode the previous image and the textual description in each turn of the sequence, and uses a GAN framework to generate a modified version of the image that is consistent with the preceding images and coherent with the description. To achieve better region-specific refinement, we also introduce a sequential attention mechanism into the model. To benchmark on the new task, we introduce two new datasets, Zap-Seq and DeepFashion-Seq, which contain multi-turn sessions with image-description sequences in the fashion domain. Experiments on both datasets show that the proposed SeqAttnGANmodel outperforms state-of-the-art approaches on the interactive image editing task across all evaluation metrics including visual quality, image sequence coherence, and text-image consistency.

研究の動機と目的

• 静的で単一のターンによるテキストから画像への生成の限界を克服するため、複数回の自然言語フィードバックを用いたインタラクティブな画像編集という新しいタスクを導入すること。
• 編集ターン間で長距離の視覚的および言語的依存関係をモデル化し、画像シーケンスにおける文脈的・領域的整合性を保証すること。
• 画像生成、アテンションに基づく領域の微調整、テキスト-画像整合性を順序付き設定で同時に最適化する新しい深層学習フレームワークの開発。
• インタラクティブ編集を目的とした、複数回の画像-説明シーケンスを含むベンチマークデータセット（Zap-Seq および DeepFashion-Seq）の提供。

提案手法

• 生成器が現在のテキストコマンドおよび過去の画像と説明の履歴に基づいて画像を修正する、順序付き GAN フレームワークを提案する。
• ニューラルステートトラッカーが各ターンの画像とテキスト説明を潜在的状態にエンコードし、編集シーケンス全体で文脈を保持する。
• 順序付きアテンション機構が、現在の自然言語コマンドで言及された属性に対応する画像領域を動的に強調表示し、細分化された編集を可能にする。
• Deep Visual-Semantic Embeddings (DAMSM) をベースにしたマルチモーダル正則化子が、特徴レベルでの生成画像とテキスト説明の整合性を強制する。
• モデルは、画像品質、一貫性、テキスト-画像関連性を最適化するために、完全な編集セッション全体でエンドツーエンドに訓練される。
• 2 つの新しいデータセット（Zap-Seq および DeepFashion-Seq）をクラウドソーシングにより収集し、それぞれ 8,734 および 4,820 の複数回編集セッションを含む。自由形式の自然言語フィードバックが含まれる。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルは、自然言語コマンドに従いながら、複数回の編集ターンにわたって視覚的整合性を維持できるか？
• RQ2 順序付きアテンション機構は、進化するテキストフィードバックに基づいて、領域特化の画像変更をどの程度効果的に誘導できるか？
• RQ3 ニューラルステートトラッカーを組み込むことで、インタラクティブな画像編集における文脈的一致性はどの程度向上するか？
• RQ4 本モデルは、画像品質、テキスト-画像整合性、シーケンスの一貫性の面で SOTA メソッドと比較してどの程度優れているか？
• RQ5 複数の視覚的属性や空間的関係を含む複雑な合成フィードバックフレーズに対しても、モデルは一般化できるか？

主な発見

• SeqAttnGAN は、Inception Score (IS)、Fréchet Inception Distance (FID)、および構造的類似性 (SSIM) というすべての指標において、Zap-Seq および DeepFashion-Seq の両方でベースラインモデルを上回った。
• アブレーションスタディの結果、順序付きアテンションモジュールおよび DAMSM 正則化子の両方が性能向上に顕著に寄与しており、これらのモジュールを欠落させたモデルでは視覚的整合性とテキスト-画像整合性が著しく劣化していた。
• 本モデルは、複合的および命題的フレーズを含む複雑なフィードバックタイプに対しても高い性能を発揮し、Zap-Seq では FID スコアが 24.8、DeepFashion-Seq では 31.2 を記録した。
• 定性的な分析から、アテンション機構が、ストラップ、色、テクスチャなどユーザー指定の変更に対応する領域を効果的に強調していることが明らかになった。
• ユーザースタディの結果、キーワードのみの入力よりも自然言語フィードバックが、インタラクティブな画像編集においてより効果的で直感的であることが確認された。
• 本モデルは、ストラップの追加、色の変更、ハイヒールのタイプの変更といった多様な視覚的属性や複雑な編集に対しても、良好に一般化している。