[論文レビュー] Dual Adversarial Inference for Text-to-Image Synthesis

Qicheng Lao, Mohammad Havaei+4 more|arXiv (Cornell University)|Aug 14, 2019

Generative Adversarial Networks and Image Synthesis参考文献 34被引用数 5

ひとこと要約

本稿では、テキスト埋め込みからコンテンツを学習し、画像データからスタイルを非教師的に学習する、潜在空間におけるコンテンツとスタイルの分離を実現する二重敵対的推論フレームワークを提案する。2つの独立した潜在変数とサイクル整合性を伴う敵対的訓練を導入することで、Oxford-102、CUB、COCOの各データセットにおいて画像品質が向上し、最先端のFIDスコアを達成するとともに、スタイル編集による制御可能な画像生成が可能になる。

ABSTRACT

Synthesizing images from a given text description involves engaging two types of information: the content, which includes information explicitly described in the text (e.g., color, composition, etc.), and the style, which is usually not well described in the text (e.g., location, quantity, size, etc.). However, in previous works, it is typically treated as a process of generating images only from the content, i.e., without considering learning meaningful style representations. In this paper, we aim to learn two variables that are disentangled in the latent space, representing content and style respectively. We achieve this by augmenting current text-to-image synthesis frameworks with a dual adversarial inference mechanism. Through extensive experiments, we show that our model learns, in an unsupervised manner, style representations corresponding to certain meaningful information present in the image that are not well described in the text. The new framework also improves the quality of synthesized images when evaluated on Oxford-102, CUB and COCO datasets.

研究の動機と目的

• テキスト記述から得られるコンテンツと、画像データから推定されるスタイルの分離表現を、テキスト-to-画像合成において学習すること。
• ノイズを唯一の変動要因とみなす既存手法の限界を是正すること。これはしばしば余分または効果のないランダムネスを引き起こす。
• スタイルを独立した潜在変数として明示的にモデル化し、非教師的敵対的推論によって学習することで、画像生成品質と多様性を向上させること。
• ユーザーがテキストからのコンテンツと画像からのスタイルに条件づけて画像生成を可能とし、位置、サイズ、数などの属性に対する分離された制御を実現すること。
• テキスト-to-画像識別器とサイクル整合性損失といった主要構成要素の必要性を、アブレーションスタディを通じて検証すること。

提案手法

• 本手法は、テキスト埋め込みから得られるコンテンツ（c）と、画像データから敵対的推論によって推定されるスタイル（z）という2つの独立した潜在変数を導入する。
• 二重敵対的推論機構を用い、識別器 D_{x,c} が（画像、推定コンテンツ）と（再構築画像、真のコンテンツ）の同時分布を一致させることで、分離性を強制する。
• サイクル整合性損失 V_{cycle} を適用し、コンテンツとスタイルから画像を再構築し、再エンコーディングすることで元のコンテンツとスタイルが回復することを保証することで、特徴の忠実度を向上させる。
• ガウス分布仮定とは異なり、非ガウス性を強制するため、コンテンツ表現にベルヌーイ分布を用いることで、分離性の向上を図る。
• 生成器がコンテンツとスタイルの両方に条件づけられる条件付きGANフレームワークを採用し、識別器 D_{x,φ_t} が画像とテキストの整合性を保証する。
• 画像生成と潜在空間推論の両方の敵対的目的を用いて、明示的なスタイルアノテーションを必要とせずに、エンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 ノイズを唯一の変動要因としないで、敵対的推論を用いてテキスト-to-画像合成におけるコンテンツとスタイルの分離を実現できるか？
• RQ2 画像データから非教師的にスタイル表現を学習することは、標準的なGANベース手法と比較して、画像品質と制御性を向上させるか？
• RQ3 テキスト-to-画像識別器 D_{x,φ_t} とサイクル整合性損失は最終的な性能にどの程度寄与しており、冗長か、それとも不可欠か？
• RQ4 分離されたスタイル表現は、例えば物体の位置、サイズ、数などの制御に意味的に解釈可能か？
• RQ5 潜在分布の選択（例：ベルヌーイ分布対ガウス分布）は、分離性と生成品質にどのような影響を与えるか？

主な発見

• 本手法はCUBデータセットでインceptionスコア3.58 ± 0.05、FID 18.41 ± 1.07を達成し、ベースラインおよびアブレーションモデルを上回る性能を示した。
• テキスト-to-画像識別器 D_{x,φ_t} を削除すると、性能が著しく低下する（インceptionスコア：3.31 ± 0.04、FID：20.65 ± 0.47）ことから、強力な監視の必要性が裏付けられた。
• サイクル整合性損失は性能向上に寄与しており、削除するとわずかな劣化（FID：19.29 ± 0.90）を示すが、依然としてベースラインを上回る。
• 敵対的サイクル損失をl2損失に置き換えると、性能が著しく低下する（インceptionスコア：1.73 ± 0.15、FID：149.8 ± 16.4）、画像がぼやける結果となった。
• t-SNE可視化により分離性が確認された：コンテンツは色（テキスト的属性）でクラスタリングされる一方、スタイルは散らかった局所的クラスタ（例：複数の花、上部に配置された花）を示す。
• 本モデルは、テキストからのコンテンツと画像からのスタイルを組み合わせることで、多様で高品質な画像を生成でき、位置、サイズ、数などの属性の制御可能な編集が可能となった。