[論文レビュー] Central Moment Discrepancy (CMD) for Domain-Invariant Representation Learning

Werner Zellinger, Thomas Grubinger+3 more|arXiv (Cornell University)|Feb 28, 2017

Domain Adaptation and Few-Shot Learning参考文献 33被引用数 214

ひとこと要約

CMD は新しいドメイン正規化器を導入し、隠れた活性化の高次中心モーメントを明示的に一致させてドメイン不変表現を生み出し、OfficeおよびAmazon reviewsのベンチマークでカーネルベースのMMD計算を用いずに最先端の結果を達成します。

ABSTRACT

The learning of domain-invariant representations in the context of domain adaptation with neural networks is considered. We propose a new regularization method that minimizes the discrepancy between domain-specific latent feature representations directly in the hidden activation space. Although some standard distribution matching approaches exist that can be interpreted as the matching of weighted sums of moments, e.g. Maximum Mean Discrepancy (MMD), an explicit order-wise matching of higher order moments has not been considered before. We propose to match the higher order central moments of probability distributions by means of order-wise moment differences. Our model does not require computationally expensive distance and kernel matrix computations. We utilize the equivalent representation of probability distributions by moment sequences to define a new distance function, called Central Moment Discrepancy (CMD). We prove that CMD is a metric on the set of probability distributions on a compact interval. We further prove that convergence of probability distributions on compact intervals w.r.t. the new metric implies convergence in distribution of the respective random variables. We test our approach on two different benchmark data sets for object recognition (Office) and sentiment analysis of product reviews (Amazon reviews). CMD achieves a new state-of-the-art performance on most domain adaptation tasks of Office and outperforms networks trained with MMD, Variational Fair Autoencoders and Domain Adversarial Neural Networks on Amazon reviews. In addition, a post-hoc parameter sensitivity analysis shows that the new approach is stable w.r.t. parameter changes in a certain interval. The source code of the experiments is publicly available.

研究の動機と目的

• ニューラルネットワークにおけるドメイン固有の潜在表現を揃えることによって、教師なしドメイン適応を動機づけ、対処する。
• Central Moment Discrepancy (CMD) を、隠れた活性化の分布に対するモーメントベースの距離として導入する。
• CMD がコンパクト区間上の分布に対する距離の計量であり、分布収束を含意することを理論的保証として提供する。
• Office ( computer vision ) および Amazon reviews ( sentiment analysis ) ベンチマークで実証的な性能向上を示す。
• カーネルベースの手法と比較した場合、ハイパーパラメータの選択に対する CMD の頑健性と計算負荷の低減を示す。

提案手法

• CMD を、すべての次数の中心モーメントの差に基づく分布間の距離として定義し、経験的で扱いやすい CMD_K 近似を用いる。
• CMD がコンパクト区間上の確率分布の計量であり、CMD の収束が分布収束を含意することを証明する。
• CMD_K を標準損失とともにドメイン適応目的関数の正則化項として統合し、カーネル行列計算を回避する。
• CMD_K を損失に加えて勾配降下法で最適化し、ソースラベルとターゲットドメインの活性化に対してニューラルネットワークを訓練する。
• K（モーメントの次数）を小さな固定値（例: 5）に設定し、情報取得と計算効率のバランスを取る。
• Amazon reviews および Office データセット上で CMD を MMD, MKL, VFAE, DANN と比較する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン固有の活性化の高次中心モーメントの明示的な次数別一致は、1次モーメントの一致よりもドメイン不変表現学習を改善できるか。
• RQ2 CMD は有効な距離関数か、CMD の収束はコンパクト区間上の分布の収束を保証するか。
• RQ3 CMD_K は MMD のようなカーネルベース手法より計算上の利点を提供しつつ、ドメイン適応性能を維持または向上させるか。
• RQ4 既存手法と比較した場合、標準的なドメイン適応ベンチマーク（Office および Amazon reviews）で CMD_K の実証的影響はどうか。
• RQ5 CMD はモーメント次数パラメータKや他のハイパーパラメータの選択に対してどれだけ敏感か。

主な発見

• CMD は複数の Office ドメイン適応タスクで最先端の性能を達成する。
• CMD はほとんどの Amazon reviews タスクで MMD、VFAE、および DANN を上回る。
• CMD は、二次時間の MMD と比較して、より簡便で線形時間の計算で競争力のあるまたは優れた精度を提供する。
• 実用的な区間（K が約5の周辺）でパラメータ変更に対して安定であることが示されている。
• 理論的結果は CMD を距離尺度として確立し、CMD の収束がコンパクト区間上の周辺分布の収束を含意することを示す。