[論文レビュー] Log-Likelihood Ratio Minimizing Flows: Towards Robust and Quantifiable Neural Distribution Alignment

Ben Usman, Avneesh Sud+2 more|arXiv (Cornell University)|Mar 26, 2020

Domain Adaptation and Few-Shot Learning参考文献 27被引用数 5

ひとこと要約

本稿では、正規化フローを用いて尤度に基づく目的関数を最小化することで、変換されたソースデータが指定された密度モデル族においてターゲットデータと区別できなくなるようにする、非敵対的でニューラル分布整合化を行うLog-Likelihood Ratio Minimizing Flows (LRMF)を提案する。収束時にゼロ損失を達成し、共有密度モデルの相互最適性を保証するとともに、自動的検証とモデル誤指定に対するロバスト性を実現する。

ABSTRACT

Distribution alignment has many applications in deep learning, including domain adaptation and unsupervised image-to-image translation. Most prior work on unsupervised distribution alignment relies either on minimizing simple non-parametric statistical distances such as maximum mean discrepancy or on adversarial alignment. However, the former fails to capture the structure of complex real-world distributions, while the latter is difficult to train and does not provide any universal convergence guarantees or automatic quantitative validation procedures. In this paper, we propose a new distribution alignment method based on a log-likelihood ratio statistic and normalizing flows. We show that, under certain assumptions, this combination yields a deep neural likelihood-based minimization objective that attains a known lower bound upon convergence. We experimentally verify that minimizing the resulting objective results in domain alignment that preserves the local structure of input domains.

研究の動機と目的

• 敵対的ドメイン整合化手法における収束保証と定量的検証の欠如に対処すること。
• 局所的データ構造を保持する、既存の分布整合化技術の非敵対的代替手法を開発すること。
• 単一で解釈可能な目的関数を通じて、自動的モデル選択と性能検証を可能にすること。
• 非パrametric手法の構造的忠実性と深層ニューラルネットワークの表現力の両方を統合すること。
• 与えられた密度モデル族においてドメイン同等性を保証する検証可能で最小化に基づく目的関数を提供すること。

提案手法

• ソースドメインとターゲットドメインにそれぞれ訓練された「プライベート」モデルと、変換済みソースおよびターゲットデータの結合に訓練された「共有」モデルとの間の対数尤度比ギャップを最小化する。
• 逆写像が可能でかつ尤度計算が容易な正規化フローを、ドメイン整合化マッピングのパrameter化に用いる。
• 目的関数は、共有密度モデルが変換済みソースおよびターゲットドメインの両方において最適である場合にのみゼロに達するように構築されており、完全な整合性を示している。
• 正規化フローの構造を活用することでミニマックス最適化を回避し、既知の下界に収束する単一目的関数の最小化を可能にした。
• 本手法は特定のGANの訓練と同等であるが、モード崩壊や不安定性を回避し、目的値から直接性能を推定可能である。
• 損失の勾配が消失するモードを損失の地形解析により検出し、高次元空間における失敗モードを特徴づけた。

実験結果

リサーチクエスチョン

• RQ1 検証可能で収束保証と性能指標が得られる、非敵対的で最小化に基づく目的関数を構築できるか？
• RQ2 正規化フローを用いることで、ソースドメインとターゲットドメインの両方の密度モデルが相互に最適となる単一目的関数の定式化が可能か？
• RQ3 本手法は、既存の非敵対的ベースラインと比較して、どのように局所的データ構造を保持するか？
• RQ4 過小または過大にパラメータ化されたモデルの誤指定下でも、本手法はどの程度ロバストか？
• RQ5 高次元設定ではなぜ損失がゼロに収束しないのか？その背後にある失敗モードは何か？

主な発見

• LRMF目的関数は学習中にゼロに収束し、共有密度モデルが変換済みソースおよびターゲットドメインの両方において最適になったことを示した。
• LRMF変換埋め込みをデコードして生成した画像を用いた分類器は、ターゲットMNISTデータセットで55%の精度を達成し、EMD（48%）およびCORAL（47%）をp値≪1e-3のMcNemar検定で顕著に上回った。
• 潜在空間におけるドメイン間で意味的に整合した数字の画像が可視化され、局所的データ構造が保持されたことが示された。
• GLOWベースの統合のような高次元設定では、損失の地形に平坦領域が存在したため、損失はゼロに達しなかった。これは周辺分布の完全な整合性が達成されていないことを示している。
• 非収束であっても、本手法は静黙的失敗を示さず、損失値が不完全な整合性を明確に示す信号を提供した。敵対的手法とは異なり、この点が顕著であった。
• 高次元では生成器の勾配が消失する問題が顕在化したが、これはGANにおける既知の失敗モードと一致しており、訓練全体を通して目的関数は解釈可能 remained であった。