[論文レビュー] Multi-Domain Translation by Learning Uncoupled Autoencoders

Karren Yang, Caroline Uhler|arXiv (Cornell University)|Feb 9, 2019

Generative Adversarial Networks and Image Synthesis参考文献 17被引用数 13

ひとこと要約

本稿では、共通の潜在空間を共有するk個の非結合的オートエノードを学習することで、再訓練なしに新しいドメインを柔軟に逐次追加可能な、マルチドメイン非教師付き翻訳のための新規フレームワークを提案する。潜在空間にドメイン識別器を導入することで、分布の整合性を保ちつつモularityと効率性を維持し、画像およびゲノムデータセットにおいて最先端の性能を達成する。

ABSTRACT

Multi-domain translation seeks to learn a probabilistic coupling between marginal distributions that reflects the correspondence between different domains. We assume that data from different domains are generated from a shared latent representation based on a structural equation model. Under this assumption, we show that the problem of computing a probabilistic coupling between marginals is equivalent to learning multiple uncoupled autoencoders that embed to a given shared latent distribution. In addition, we propose a new framework and algorithm for multi-domain translation based on learning the shared latent distribution and training autoencoders under distributional constraints. A key practical advantage of our framework is that new autoencoders (i.e., new domains) can be added sequentially to the model without retraining on the other domains, which we demonstrate experimentally on image as well as genomics datasets.

研究の動機と目的

• ペairedデータがドメイン間で入手できない非教師付きマルチドメイン翻訳を解決すること。
• 複数ドメインにスケーリングが悪く、ペアワイズ学習に依存する既存のCycleGANベースのモデルの限界を克服すること。
• 既存のモデルを再学習することなく、新しいドメインを逐次統合できるフレームワークを開発すること。
• kドメイン間の翻訳をk個の独立したオートエノードに分解するために、共有潜在表現を活用すること。
• 構造的プライアが存在しない画像やシングルセルオミクスデータを含む多様なドメイン間で頑健な翻訳を可能にすること。

提案手法

• すべてのドメインが共通の潜在空間Zを共有する構造的方程式モデルを仮定し、各ドメインXiがZを介した写像関数によって生成されることを想定する。
• マルチドメイン翻訳をk個の非結合的オートエノードに分解し、それぞれが敵対的訓練を用いて自身のドメインからのデータを独立に再構築するように学習する。
• オートエノードは、潜在空間で動作する敵対的識別器を介して、各ドメインの周辺分布を事前に定義された共有潜在分布pZに一致させるように訓練される。
• 2段階の訓練手順を採用：まず低解像度データでオートエノードを学習し、徐々に高解像度へと精錬することで、訓練の安定性を向上させる。
• ゲノムデータの場合、バイナリークラスラベル（例：Oct4発現）を識別器に組み込み、潜在空間での整合性をガイドし、任意の分布シフトを防ぐ。
• 翻訳は、ソースドメインのエンコーダとターゲットドメインのデコーダを合成することで実現され、双方向のデータ移動を可能にする。

実験結果

リサーチクエスチョン

• RQ1 共有潜在空間を用いてマルチドメイン翻訳を独立したオートエノードに分解しつつ、分布の対応関係を維持できるか？
• RQ2 以前に学習したドメインを再訓練することなく、新しいドメインをモデルに追加できるか？
• RQ3 構造的プライアが存在しないドメイン（例：ゲノムデータ）に対しても、このフレームワークは一般化可能か？
• RQ4 自然画像のプライアが欠如している状況で、クラスラベルは潜在空間の整合性を安定化させる役割を果たすか？
• RQ5 顔画像のような複雑なデータに対して、潜在空間における段階的訓練が収束性と性能をどのように向上させるか？

主な発見

• 64×64 CelebA顔画像および手書き数字の間で、高品質な画像再構築と現実的な翻訳結果を達成し、マルチドメイン翻訳を成功裏に実現した。
• オートエノードを8×8画像から徐々に64×64へとスケーリングする段階的訓練により、複雑な画像データでも安定した訓練が可能となった。
• シングルセルゲノム解析では、バイナリーオクタブ・ラベル（Oct4）を識別器に組み込むことで、RNA-seqとChIP-seqデータの潜在空間における分布の正確な整合性が達成され、任意の分布シフトが回避された。
• 既存のオートエノードを再訓練することなく、新しいドメインを逐次追加可能であり、モularityとスケーラビリティを実証した。
• 可視化結果から、あるドメインから翻訳されたデータがターゲットドメインの真の分布に近く、共有潜在空間が意味的な生物学的構造を保持していることが確認された。