[論文レビュー] MISO: Mutual Information Loss with Stochastic Style Representations for Multimodal Image-to-Image Translation

Sanghyeon Na, Seungjoo Yoo+1 more|arXiv (Cornell University)|Feb 11, 2019

Generative Adversarial Networks and Image Synthesis参考文献 27被引用数 11

ひとこと要約

本稿では、潜在変数を確率的変数としてモデル化し、分布の一貫性を強制することで、コンテンツ特徴をスタイル表現に条件づけることで画像品質と多様性を向上させる、新しい非対応マルチモーダル画像対画像変換モデルMISOを提案する。MISOは、相互情報量に基づく確率的損失関数であるMILOを導入することで、複数のデータセットで最先端の性能を達成する。

ABSTRACT

Unpaired multimodal image-to-image translation is a task of translating a given image in a source domain into diverse images in the target domain, overcoming the limitation of one-to-one mapping. Existing multimodal translation models are mainly based on the disentangled representations with an image reconstruction loss. We propose two approaches to improve multimodal translation quality. First, we use a content representation from the source domain conditioned on a style representation from the target domain. Second, rather than using a typical image reconstruction loss, we design MILO (Mutual Information LOss), a new stochastically-defined loss function based on information theory. This loss function directly reflects the interpretation of latent variables as a random variable. We show that our proposed model Mutual Information with StOchastic Style Representation(MISO) achieves state-of-the-art performance through extensive experiments on various real-world datasets.

研究の動機と目的

• 従来の非対応マルチモーダル画像対画像変換モデルが、決定論的再構成損失に依存し、コンテンツとスタイルを独立して分離しているという限界を解消すること。
• コンテンツをベースとし、スタイルを条件付き修飾子として階層的な関係としてモデル化することで、翻訳における画像品質と多様性を向上させること。
• 標準的な自己再構成損失を、潜在変数を確率的変数として扱う情報理論的損失関数に置き換えること。
• 画像生成におけるリアリズムを損なわずに、より良いコンテンツ保持と高い多様性を達成すること。

提案手法

• 入力画像からコンテンツ特徴を生成する際、ターゲットドメインのスタイル特徴に条件づけた条件付きエンコーダを導入する。
• 標準的なL1ベースの自己再構成損失に代わり、潜在変数と再構成画像間の相互情報量に基づく確率的損失関数であるMILO（相互情報量損失）を提案する。
• BicycleGANと同様の二段階訓練スキーム（IFIおよびFIF）を採用するが、条件付きコンテンツ表現とMILO損失を組み合わせることで、分離性と多様性を向上させる。
• 潜在変数を𝒩(0, I)に分布させるようにモデル化することで、分布の整合性を保ち、一般化性能と多様性を向上させる。
• 損失関数における相互情報量推定に変分情報最大化を採用し、安定な勾配を有するエンドツーエンド学習を可能にする。
• 標準的な自己再構成損失をMILOに置き換えることで、意味的で多様かつ現実的な画像分布を学習するようモデルを促進する。

実験結果

リサーチクエスチョン

• RQ1 コンテンツ特徴をスタイル表現に条件づけることで、独立した分離に比べ、マルチモーダル画像変換の品質と多様性が向上するか？
• RQ2 潜在変数を決定論的値ではなく確率的変数としてモデル化することで、画像生成における一般化性能と多様性が向上するか？
• RQ3 相互情報量に基づく損失関数（MILO）は、標準的な自己再構成損失を上回る性能を示すか？
• RQ4 エッジ2シューズ、シティスケープ、モンスターカットといった多様なデータセットにおいて、提案モデルはコンテンツ保持性と多様性でどのように比較されるか？
• RQ5 階層的なコンテンツ・スタイル関係は、顔画像やアートスタイルの変換において、アーチファクトを低減し、リアリズムを向上させるか？

主な発見

• MISOは、エッジ2シューズ、シティスケープ、モンスターカットを含む複数のデータセットで最先端の性能を達成し、最高の多様性とリアリズムスコアを記録した。
• モンスターカットデータセットでは、上界条件下でO↔Oの多様性スコアが0.98を達成し、MUNIT（0.92）とSRSO（0.90）を大きく上回ったが、I↔O距離は0.41と低く維持された。
• 顔変換（男性↔女性）において、MISOは両方向で1%未満の誤差率を達成し、女性→男性変換で高い失敗率を示すDRITやMUNITを上回った。
• 定性的な結果から、MISOは木の構造、地面のテクスチャ、髪型やメイクなどの顔の特徴を細部まで保持しながら、多様で現実的な出力を生成することが確認された。
• MILO損失を用いたモデル（MISO）は、SR損失を用いるSRSOに比べ、特に髪や顔の細部において鮮明さと多様性の両面で優れていることが示され、確率的損失の優位性が裏付けられた。
• 潜在空間の可視化から、MISOは意味的で分離可能かつ整合性のある分布を学習しており、記憶に依存せず、未観測の潜在コードに対しても一般化可能であることが確認された。