[論文レビュー] ZstGAN: An Adversarial Approach for Unsupervised Zero-Shot Image-to-Image Translation

Jianxin Lin, Yingce Xia+3 more|arXiv (Cornell University)|Jun 1, 2019

Cancer-related molecular mechanisms research参考文献 37被引用数 8

ひとこと要約

本稿では、教師なしゼロショット画像間翻訳（UZSIT）を目的とした生成的対抗ネットワーク、ZstGANを紹介する。この手法は、対応する訓練データが存在しない状況下でも、未学習の画像ドメイン間での翻訳を可能にする。視覚的および属性的エンコーダーを用いてドメイン固有の特徴をモデル化し、ドメイン不変特徴を分離することで、CUBおよびFLOデータセットにおいて最先端の性能を達成し、FLOデータセットの未学習ドメインにおいてトップ1精度が34.06%に達する。

ABSTRACT

Image-to-image translation models have shown remarkable ability on transferring images among different domains. Most of existing work follows the setting that the source domain and target domain keep the same at training and inference phases, which cannot be generalized to the scenarios for translating an image from an unseen domain to another unseen domain. In this work, we propose the Unsupervised Zero-Shot Image-to-image Translation (UZSIT) problem, which aims to learn a model that can translate samples from image domains that are not observed during training. Accordingly, we propose a framework called ZstGAN: By introducing an adversarial training scheme, ZstGAN learns to model each domain with domain-specific feature distribution that is semantically consistent on vision and attribute modalities. Then the domain-invariant features are disentangled with an shared encoder for image generation. We carry out extensive experiments on CUB and FLO datasets, and the results demonstrate the effectiveness of proposed method on UZSIT task. Moreover, ZstGAN shows significant accuracy improvements over state-of-the-art zero-shot learning methods on CUB and FLO.

研究の動機と目的

• 推論時に未学習のドメインに一般化できない既存の画像間翻訳モデルの限界を解決すること。
• 教師なしゼロショット画像間翻訳（UZSIT）という新たな問題設定を定式化すること。この設定では、対応データが存在せず、訓練時にターゲットドメインが未学習である。
• 視覚的および属性的モダリティ間の意味的整合性を活用することで、未学習ドメインに一般化可能なフレームワークを構築すること。
• ソースドメインとターゲットドメイン間のラベル付きまたは対応データを一切必要とせず、ゼロショット翻訳を可能にすること。
• ドメイン不変およびドメイン固有の特徴を分離することで、柔軟で一般化可能な画像翻訳を実現すること。

提案手法

• 視覚的入力用の視覚から意味へのエンコーダーと、テキスト的記述用の属性から意味へのエンコーダーを備えた二重エンコーダー構造を導入。両者はドメイン固有の特徴分布を共同でモデル化するように訓練される。
• ドメイン固有の識別器を用いた対抗学習により、生成された特徴が実際のドメイン固有特徴と区別できないようにする。
• 入力画像からドメイン不変特徴を抽出する共有エンコーダーを実装。この特徴はドメイン固有特徴と組み合わせられ、画像生成に使用される。
• 複数の損失項を適用：視覚的および属性的特徴における分類損失、ドメイン固有および共有特徴における対抗損失、サイクル整合性のための再構成損失、および特徴の整合化を目的とした相互情報量の最大化。
• 画像またはテキストからのドメイン固有特徴の補間を可能にし、未学習ドメイン間で連続的な変化を生成することで、離散的なドメインラベルを越えた一般化を実証する。
• 完全に教師なしの設定でモデルを訓練。学習に使用するのは、学習済みドメインからの未対応データと、未学習ドメインの属性記述のみ。

実験結果

リサーチクエスチョン

• RQ1 対応データが一切存在しない状況下でも、訓練時に未見のドメインに一般化可能な生成モデルは、画像間翻訳を実現できるか？
• RQ2 ドメイン固有およびドメイン不変特徴を効果的に分離することで、ゼロショット翻訳を実現できるか？
• RQ3 視覚的および属性的モダリティ間の意味的整合性は、画像翻訳におけるゼロショット一般化をどの程度向上させるか？
• RQ4 学習済みドメインの数が、未学習ドメインにおけるゼロショット翻訳性能に与える影響はどの程度か？
• RQ5 特徴の補間により、未学習ドメインの連続的変化に一般化できるか？

主な発見

• ZstGANはFLOデータセットの未学習ドメインにおいて、トップ1精度が34.06%を達成し、最先端のゼロショット学習手法を顕著に上回る。
• アブレーションスタディの結果、分類損失、対抗損失、再構成損失、相互情報量損失のいずれかを削除しても性能が著しく低下することが確認され、全訓練スキームの必要性が裏付けられた。
• 学習済みドメインの数が増えるほど、未学習ドメインにおける性能が向上し、FLOデータセットではドメイン数M=20の際のトップ1精度17.13%からM=82の際の34.06%に上昇した。
• 画像またはテキストからのドメイン固有特徴の補間により、滑らかで連続的な翻訳結果が得られ、モデルが連続的な意味的空間において未学習ドメインに一般化できることを実証した。
• 背景要因などのドメイン不変コンテンツを効果的に保持しながら、新しいドメイン固有のスタイルに適応していることから、特徴の効果的な分離が実現されていることが示された。
• ZstGANは離散的なドメインラベルを越えて一般化でき、訓練データに存在しない未学習ドメインに対しても妥当な翻訳を生成できることを検証し、ゼロショット能力を裏付けた。