[論文レビュー] Describe What to Change: A Text-guided Unsupervised Image-to-Image Translation Approach

Yahui Liu, Marco De Nadai+5 more|arXiv (Cornell University)|Aug 10, 2020

Multimodal Machine Learning Applications参考文献 53被引用数 8

ひとこと要約

本稿では、完全な画像キャプションや人間によるアノテーションデータセットを必要とせずに、'髪の色を黒に変更する'などのコマンド形式の記述（例：'change hair color to black'）を用いて視覚的属性のテキスト誘導型操作を可能にする、新しい非教師あり画像対画像変換フレームワーク、DWC-GANを提案する。属性空間におけるガウス・ミックスチャネル・モデル（GMM）を用いたコンテンツと属性の分離により、自然言語の曖昧さに対処するための複数の確率的かつ多様な出力を生成し、CelebAおよびCUBデータセットで最先端の性能を達成する。

ABSTRACT

Manipulating visual attributes of images through human-written text is a very challenging task. On the one hand, models have to learn the manipulation without the ground truth of the desired output. On the other hand, models have to deal with the inherent ambiguity of natural language. Previous research usually requires either the user to describe all the characteristics of the desired image or to use richly-annotated image captioning datasets. In this work, we propose a novel unsupervised approach, based on image-to-image translation, that alters the attributes of a given image through a command-like sentence such as "change the hair color to black". Contrarily to state-of-the-art approaches, our model does not require a human-annotated dataset nor a textual description of all the attributes of the desired image, but only those that have to be modified. Our proposed model disentangles the image content from the visual attributes, and it learns to modify the latter using the textual description, before generating a new image from the content and the modified attribute representation. Because text might be inherently ambiguous (blond hair may refer to different shadows of blond, e.g. golden, icy, sandy), our method generates multiple stochastic versions of the same translation. Experiments show that the proposed model achieves promising performances on two large-scale public datasets: CelebA and CUB. We believe our approach will pave the way to new avenues of research combining textual and speech commands with visual attributes.

研究の動機と目的

• 完全な画像キャプションではなく、短いコマンド形式のテキスト記述を用いて、柔軟でユーザーフレンドリーな画像属性操作を可能にすること。
• トレーニングに人間によるアノテート済み画像キャプションデータセットに依存しないこと。
• 自然言語の本質的な曖昧さに対処するため、マルチモーダルかつ確率的な方法で視覚的属性の変更をモデル化すること。
• 画像のコンテンツと視覚的属性を分離することで、より制御可能で頑健な画像変換を実現すること。
• 必要な属性変更のみを用いて、段階的かつ補間ベースの編集を可能にすること。

提案手法

• モデルは、コンテンツエンコーダ、属性エンコーダ、およびジェネレータを備えたGANベースのアーキテクチャを用い、画像のコンテンツと視覚的属性を分離する。
• 視覚的属性はガウス・ミックスチャネル・モデル（GMM）でモデル化され、同じ属性変更に対して複数の確率的表現を可能にする。
• テキスト記述は事前学習済みの単語埋め込みを用いて埋め込みられ、属性空間に投影され、特定の属性の変更を誘導する。
• サイクル整合性損失により、翻訳中におけるアイデンティティ保持とドメイン整合性が保証される。
• 属性再構成損失により、符号化表現から元の属性を正確に再構成するようモデルが制御される。
• 多様性に敏感な損失関数により、同じ入力コマンドに対して複数の異なる妥当な出力をサンプリングするよう促進される。

実験結果

リサーチクエスチョン

• RQ1 完全な画像キャプションを用いずに、短いコマンド形式のテキスト記述のみで画像属性操作を効果的に行えるか？
• RQ2 自然言語コマンドに内在する曖昧さ（例：'blond hair'が異なる色合いを意味する場合）をモデルがどのように処理できるか？
• RQ3 教師なしアプローチが、人間によるペairedデータに依存せずに高品質で多様な画像変換を達成できるか？
• RQ4 コンテンツと属性の分離が、画像変換における制御性と頑健性をどの程度向上させるか？
• RQ5 トレーニング時に見られなかった、実際の人の書いたテキストコマンドにも一般化できるか？

主な発見

• 提案されたDWC-GANは、CelebAおよびCUBデータセットで最先端の性能を達成し、CelebAではインセプションスコア（IS）が3.069、Fréchet Inception Distance（FID）が32.14である。
• アブレーションスタディの結果、サイクル整合性損失を除去すると、画像品質と多様性が著しく低下する（IS: 2.589、FID: 97.94）。
• 属性再構成損失を除去すると、ISとFIDはわずかに改善されるが、多様性が減少するため、正確性とばらつきのトレードオフが生じていることが示唆される。
• 事前学習済みの単語埋め込みを用いることで、トレーニングの収束性と画像品質が向上するが、これを除去するとISが2.782に低下し、FIDが73.90に上昇する。
• GMMを1つのガウスに制限（つまり、多様性なし）にすると、モデルはマルチモーダル生成能力を失い、LPIPSが0.000 ± 0.000となる。これはGMMによる多様性の必要性を確認する。
• 15名の参加者によるユーザースタディにより、実際の人の書いたコマンドに対してもモデルの一般化性能が高く、自然言語の多様性に対しても頑健であることが実証された。