[論文レビュー] Central Moment Discrepancy (CMD) for Domain-Invariant Representation Learning

Werner Zellinger, Thomas Grubinger+3 more|arXiv (Cornell University)|Feb 28, 2017

Domain Adaptation and Few-Shot Learning被引用数 322

ひとこと要約

Central Moment Discrepancy (CMD)を導入し、ドメイン特有の活性化の高次中心モーメントを明示的に揃えることで、指標ベースのドメイン正則化を形成し、教師なしドメイン適応の性能を向上させる。

ABSTRACT

The learning of domain-invariant representations in the context of domain adaptation with neural networks is considered. We propose a new regularization method that minimizes the discrepancy between domain-specific latent feature representations directly in the hidden activation space. Although some standard distribution matching approaches exist that can be interpreted as the matching of weighted sums of moments, e.g. Maximum Mean Discrepancy (MMD), an explicit order-wise matching of higher order moments has not been considered before. We propose to match the higher order central moments of probability distributions by means of order-wise moment differences. Our model does not require computationally expensive distance and kernel matrix computations. We utilize the equivalent representation of probability distributions by moment sequences to define a new distance function, called Central Moment Discrepancy (CMD). We prove that CMD is a metric on the set of probability distributions on a compact interval. We further prove that convergence of probability distributions on compact intervals w.r.t. the new metric implies convergence in distribution of the respective random variables. We test our approach on two different benchmark data sets for object recognition (Office) and sentiment analysis of product reviews (Amazon reviews). CMD achieves a new state-of-the-art performance on most domain adaptation tasks of Office and outperforms networks trained with MMD, Variational Fair Autoencoders and Domain Adversarial Neural Networks on Amazon reviews. In addition, a post-hoc parameter sensitivity analysis shows that the new approach is stable w.r.t. parameter changes in a certain interval. The source code of the experiments is publicly available.

研究の動機と目的

• ニューラルネットワークにおける教師なしドメイン適応のためのドメイン不変表現学習を動機づける。
• MMDやKLなど既存の分布一致アプローチの限界に対処し、高次中心モーメントを明示的に一致させる。
• CMDを、活性化分布間の計算効率の高いカーネル不要の距離として定義する。
• CMDが計量であり、分布収束を意味するという理論的保証を提供する。
• Office(ビジョン)とAmazonレビュー(テキスト)でCMDを経験的に評価し、優れた性能と安定性を示す。

提案手法

• CMDを、K次までのモーメントを用いてソースとターゲットの活性化分布間の距離として定義する。
• 有界区間上の分布に対して中心モーメントを用いて計量を構築する。
• カーネルベースや敵対的手法を置換する直線時間の正則化子として経験的CMD_Kを提供する。
• カーネル行列を必要とせず、トレーニング目的関数にドメイン正則化項としてCMD_Kを組み込む。
• CMD_Kの勾配が標準的な活性化関数から計算可能であり、勾配ベースの最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 高次中心モーメントの順序別の明示的な一致は、第一モーメントやカーネルベースの方法と比べてドメイン適応を改善するか？
• RQ2 CMDは有界区間上の確率分布に対する有効な計量か、CMDの収束が分布収束を意味するか？
• RQ3 CMD_Kは標準的なドメイン適応のベンチマーク（OfficeとAmazonレビュー）において最先端または競争力のある性能を、安定したハイパーパラメータ挙動とともに提供するか？

主な発見

• CMDはほとんどのOfficeのドメイン適応タスクで最先端の性能を達成する。
• CMDはAmazonレビュータスクでMMDベース、変分公正オートエンコーダ、ドメイン対向ネットワークを上回る。
• CMDの結果は実用的な区間（K≥3）内のパラメータ変化に対して安定している。
• CMDはサンプル数に対して直線時間の計算量を持ち、二乗時間のMMDアプローチとは対照的である。
• 経験的結果には複数のベースラインとの比較が含まれ、CMDが多くのタスクでより高い精度を示す。