[論文レビュー] Keep Drawing It: Iterative language-based image generation and editing.

Alaaeldin El-Nouby, Shikhar Sharma+6 more|arXiv (Cornell University)|Nov 24, 2018

Multimodal Machine Learning Applications被引用数 11

ひとこと要約

本稿では、継続的な言語フィードバックに基づいて段階的に画像を生成・編集する再帰的画像生成モデルを提案する。各ステップで文脈を保持する。過去の出力と全履歴の指示を条件として用いることで、オブジェクトの追加、背景の変更、誤りの是正といったインタラクティブ編集を可能にし、動的でユーザー主導の画像合成への重要な一歩を示している。

ABSTRACT

Conditional text-to-image generation approaches commonly focus on generating a single image in a single step. One practical extension beyond one-step generation is an interactive system that generates an image iteratively, conditioned on ongoing linguistic input / feedback. This is significantly more challenging as such a system must understand and keep track of the ongoing context and history. In this work, we present a recurrent image generation model which takes into account both the generated output up to the current step as well as all past instructions for generation. We show that our model is able to generate the background, add new objects, apply simple transformations to existing objects, and correct previous mistakes. We believe our approach is an important step toward interactive generation.

研究の動機と目的

• 単一ステップ生成をはるかに超えた反復的・言語条件付き編集をサポートするインタラクティブな画像生成システムの開発。
• 複数の生成ステップおよび言語指示の間で文脈的認識を維持する課題への対処。
• 自然言語フィードバックを通じた動的画像編集の実現、例としてオブジェクトの追加、背景の変更、誤りの是正。
• 視覚的および言語的モodalの両方における長期依存関係をモデル化し、一貫性のある進化する画像生成を実現。

提案手法

• モデルは、現在の画像出力と過去の指示の全履歴を処理する再帰的アーキテクチャを採用する。
• 言語的履歴を埋め込むためにトランスフォーマー基盤のエンコーダーを用い、ステップごとのユーザー意図の変化を捉える。
• 画像生成は、現在の画像の潜在表現と、指示履歴の符号化表現の両方に条件づけられる。
• 視覚的および言語的表現をクロスアテンション機構を通じて統合し、言語フィードバックと画像領域を一致させる。
• トレーニングは、各ステップで新たな言語入力と過去の文脈に基づいて画像を精錬する一連の画像生成ステップで構成される。
• エンド・トゥ・エンド微分可能最適化を通じて、オブジェクト追加、変換、誤り是正などの段階的編集をサポートする。

実験結果

リサーチクエスチョン

• RQ1 再帰的画像生成モデルは、複数の編集ステップにわたり、言語的および視覚的情報の文脈を効果的に保持・利用できるか？
• RQ2 自然言語フィードバックのみで、新しいオブジェクトの追加や過去の誤りの是正といった複雑な編集タスクを、同様に効果的に処理できるか？
• RQ3 完全な指示履歴を組み込むことで、過去の入力を無視するモデルと比較して、生成画像の整合性と正確性がどの程度向上するか？
• RQ4 背景の変更やオブジェクト変換を含む多様な編集操作を、インタラクティブな設定で一般化して処理できるか？

主な発見

• モデルは、ユーザーからの言語フィードバックと整合性を保ちながら、複数の反復的ステップで画像の生成・編集を成功裏に実行した。
• 自然言語指示に従い、画像への新しいオブジェクトの追加、既存オブジェクトの変更、および以前の誤りの是正が可能であることを示した。
• 完全な指示履歴の統合により、記憶が限定されたモデルと比較して、より一貫性があり文脈的に正確な画像編集が実現した。
• 単一で統合されたフレームワーク内で、背景生成、オブジェクト挿入、変換などの多様な編集操作をサポートした。