[論文レビュー] Optimal Unsupervised Domain Translation

Emmanuel de Bézenac, Ibrahim Ayed+1 more|arXiv (Cornell University)|Jun 4, 2019

Generative Adversarial Networks and Image Synthesis参考文献 30被引用数 13

ひとこと要約

本稿では、非教師ありドメイン変換（UDT）を最適輸送問題として定式化することで、学習された写像の存在と一意性を保証する、新しいフレームワークである動的最適ニューラル変換（DONT）を提案する。学習可能なベクトル場を用いて輸送を力学系としてモデル化することで、滑らかな補間と意味的制御が可能となり、画像変換タスクにおいて、CycleGANなどの先行手法よりも理論的・実践的に優れている。

ABSTRACT

Domain Translation is the problem of finding a meaningful correspondence between two domains. Since in a majority of settings paired supervision is not available, much work focuses on Unsupervised Domain Translation (UDT) where data samples from each domain are unpaired. Following the seminal work of CycleGAN for UDT, many variants and extensions of this model have been proposed. However, there is still little theoretical understanding behind their success. We observe that these methods yield solutions which are approximately minimal w.r.t. a given transportation cost, leading us to reformulate the problem in the Optimal Transport (OT) framework. This viewpoint gives us a new perspective on Unsupervised Domain Translation and allows us to prove the existence and uniqueness of the retrieved mapping, given a large family of transport costs. We then propose a novel framework to efficiently compute optimal mappings in a dynamical setting. We show that it generalizes previous methods and enables a more explicit control over the computed optimal mapping. It also provides smooth interpolations between the two domains. Experiments on toy and real world datasets illustrate the behavior of our method.

研究の動機と目的

• CycleGANなどの非教師ありドメイン変換（UDT）手法に理論的根拠が欠如していること、特に対応関係が曖昧なため不適切な解が得られることに対処すること。
• 明示的な輸送コストを導入することで、UDTを適切に定式化された最適輸送（OT）問題として定式化し、解の存在と一意性を保証すること。
• 動的設定下で最適写像を効率的に計算できる、実用的で微分可能なフレームワークを開発すること。
• 意味的コンテンツに対する明示的制御を可能とし、ドメイン間の滑らかな補間を実現すること。
• ペairedデータが存在しない条件下で、ニューラルネットワークが意味的で最小限かつ一貫性のある写像を学習することを示すこと。

提案手法

• 時間離散化フレームワークにおいて、学習可能なベクトル場が支配する微小ステップの系列として写像をモデル化することで、UDTを動的最適輸送問題に再定式化する。
• 各時刻におけるベクトル場をパラメータθ_kを用いてニューラルネットワークでパラメータライズし、確率的勾配降下法によるエンドツーエンド学習を可能にする。
• pノルムの最小化に加え、プッシュフォワード分布に対するラグランジュペナルティによる一貫性制約を課す離散最適化問題を用いる。
• ターゲットドメインの一貫性制約（T_♯α = β）を、GAN、カーネル距離、またはOTに基づくメトリクスに依存する乖離損失Dを用いて実装する。
• 前方軌道計算を逆転することで逆写像を取得でき、再訓練や別アーキテクチャを必要とせず、双方向変換を可能にする。
• 事前学習済みオートエンコーダーを介して意味的埋め込み空間に適用することで、輸送コストが意味を持ち、意味的コンテンツが保存されるようにする。

実験結果

リサーチクエスチョン

• RQ1 CycleGANのような既存の非教師ありドメイン変換モデルは、理論的には不適切であるにもかかわらず、なぜ一般化性能が良いのか？
• RQ2 解の存在と一意性の保証を得られるように、UDTを適切に定式化された最適輸送問題として定式化できるか？
• RQ3 滑らかな補間を伴いながら、深層学習フレームワーク内で最適輸送写像を効率的に計算できるか？
• RQ4 原理的コスト関数を導入することで、意味的コンテンツや写像品質に対するより良い制御が可能になるか？
• RQ5 最適輸送の動的定式化は、画像変換タスクにおける一般化性能と補間品質を向上させるか？

主な発見

• 提案されたDONTフレームワークは、広範なコスト関数クラスに対して最適輸送写像の存在と一意性を保証し、先行UDT手法の不適切さを解消する。
• MNISTおよびCelebAにおける実験から、DONTはCycleGANよりも一貫性が高く意味的意味を持つ写像を学習しており、ドメイン間の明確な補間経路が得られている。
• 前方ネットワークの中間層を介して、ソースドメインとターゲットドメイン間の滑らかで連続的な補間が可能である。
• 逆写像は前方軌道計算を単に逆転するだけで得られ、別途訓練やアーキテクチャを必要としない。
• 意味的埋め込み空間（例：ResNet特徴量）に適用した場合、輸送コストが意味を持ち、翻訳中に高レベルの意味的特徴が保存される。
• 減少するλ_iを用いたラグランジュペナルティにより、最適化中に一貫性制約が満たされ、正確なドメイン間写像が得られる。