[論文レビュー] Image-to-Image Translation with Text Guidance

Bowen Li, Xiaojuan Qi+2 more|arXiv (Cornell University)|Feb 12, 2020

Multimodal Machine Learning Applications参考文献 26被引用数 13

ひとこと要約

この論文では、セグメンテーションマスクから生成される画像の視覚的属性を自然言語記述で制御できる、GANベースのフレームワークであるRefinedGANを提案する。品詞解析、アフィン結合モジュール、洗練されたマルチステージアーキテクチャ、構造損失を活用することで、COCOデータセット上で優れたリアルさと意味的整合性を達成し、定性的および定量的評価の両面で先行手法を上回る性能を発揮する。

ABSTRACT

The goal of this paper is to embed controllable factors, i.e., natural language descriptions, into image-to-image translation with generative adversarial networks, which allows text descriptions to determine the visual attributes of synthetic images. We propose four key components: (1) the implementation of part-of-speech tagging to filter out non-semantic words in the given description, (2) the adoption of an affine combination module to effectively fuse different modality text and image features, (3) a novel refined multi-stage architecture to strengthen the differential ability of discriminators and the rectification ability of generators, and (4) a new structure loss to further improve discriminators to better distinguish real and synthetic images. Extensive experiments on the COCO dataset demonstrate that our method has a superior performance on both visual realism and semantic consistency with given descriptions.

研究の動機と目的

• 自然言語記述を用いて、画像対画像翻訳における視覚的属性（例：色、質感、背景）を正確に制御すること。
• ピクセルレベルのセマンティックマップに依存する既存のモデルが、細分化された属性を制御できないという限界を克服すること。
• テキスト内の語句を適切に分離し、それらを生成画像内の対応する視覚的属性に正確にマッピングすること。
• 詳細なピクセルレベルのマップを必要とせず、単純なセグメンテーションマスクから高品質でリアルな画像を生成しつつ、テキストプロンプトとの意味的整合性を維持すること。
• アーキテクチャの洗練化と新規の構造損失を導入することで、識別器と生成器の性能を向上させること。

提案手法

• 品詞解析（POS tagging）を用いて、テキスト記述から意味のない語を除外し、不要な語と視覚的特徴の誤った関連付けを防ぐ。これによりノイズが低減される。
• アフィン結合モジュール（ACM）は、モality固有の変換を学習することで、テキスト特徴と画像特徴を融合し、語の意味と画像領域との正確な整合性を実現する。
• 洗練されたマルチステージアーキテクチャは、上位ステージの画像パッチを下位ステージにフィードバックすることで、識別器の微分能と生成器の補正能力を向上させる。
• このアーキテクチャにより、低レベルのステージが全体の構造と細部を生成し、後続のステージが欠落または誤った属性を是正する。
• 新規の構造損失を導入し、識別器が偽物画像における微細な不整合を検出する能力を高め、結果として生成器の品質が向上する。
• 完全なフレームワーク、RefinedGANは、これらのモジュールを統合し、セグメンテーションマスクと自然言語の両方を条件として、リアルで意味的に整合性のある画像を生成する。

実験結果

リサーチクエスチョン

• RQ1 自然言語記述は、画像対画像翻訳において色、質感、背景といった特定の視覚的属性を効果的に制御できるか？
• RQ2 テキスト記述に含まれる意味のない語をどのようにフィルタリングすれば、画像生成品質の低下を防げるか？
• RQ3 マルチステージアーキテクチャは、生成画像内の視覚的属性の分離と是正をどの程度向上できるか？
• RQ4 構造損失は、識別器が微細な画像アーチファクトを検出する能力を高め、結果としてより高品質な生成を実現するか？
• RQ5 提案手法は、詳細なピクセルレベルのマップを必要とせず、単純なセグメンテーションマスクからリアルで意味的に整合性のある画像を生成できるか？

主な発見

• アブレーションスタディの結果、POSタギングが意味のない語からの干渉を排除することで、画像品質が顕著に向上することが確認された。具体的には、バスに非現実的な白色のパッチが発生するのを防ぐことができた。
• アフィン結合モジュールは、単純な連結処理を上回る性能を示し、テキストの意味と画像領域との正確な整合性を実現するとともに、意味的整合性を保持した。
• 洗練されたマルチステージアーキテクチャは、欠落または誤った属性の是正に効果を発揮し、ゾウの頭部や背中の修復、バスの緑色の窓の是正といった事例で有効であった。
• 構造損失を除去すると、バスのパッチや飛行機の質感の悪化といった非現実的な画像領域が発生し、この損失が識別器の微細な欠陥への感受性を高めることの重要性が示された。
• 完全なRefinedGANモデルは、COCOデータセット上で細部まで洗練された高品質な画像を生成し、定性的および定量的評価の両面で最先端のベースラインを上回った。
• モデルは、単純なマスクとテキストプロンプトに基づき、複数のオブジェクトと関係性を含む複雑なシーン、例えば森の中のシマウマや灰色の空に黄色いジェット機を含む光景を効果的に生成できた。