[論文レビュー] HoMM: Higher-order Moment Matching for Unsupervised Domain Adaptation

Chao Chen, Zhihang Fu+5 more|arXiv (Cornell University)|Dec 27, 2019

Domain Adaptation and Few-Shot Learning参考文献 44被引用数 7

ひとこと要約

本稿では、MMD や CORAL を一般化する新しい教師なしドメイン適応手法 Higher-order Moment Matching (HoMM) を提案する。この手法は、特に3次および4次モーメントを用いて任意の順序のモーメントテンソルを一致させることで、より細分化されたドメイン整合を実現する。実験の結果、従来のモーメント一致手法を著しく上回り、標準ベンチマーク上での3次および4次モーメント一致により、最先端の精度を達成した。

ABSTRACT

Minimizing the discrepancy of feature distributions between different domains is one of the most promising directions in unsupervised domain adaptation. From the perspective of distribution matching, most existing discrepancy-based methods are designed to match the second-order or lower statistics, which however, have limited expression of statistical characteristic for non-Gaussian distributions. In this work, we explore the benefits of using higher-order statistics (mainly refer to third-order and fourth-order statistics) for domain matching. We propose a Higher-order Moment Matching (HoMM) method, and further extend the HoMM into reproducing kernel Hilbert spaces (RKHS). In particular, our proposed HoMM can perform arbitrary-order moment tensor matching, we show that the first-order HoMM is equivalent to Maximum Mean Discrepancy (MMD) and the second-order HoMM is equivalent to Correlation Alignment (CORAL). Moreover, the third-order and the fourth-order moment tensor matching are expected to perform comprehensive domain alignment as higher-order statistics can approximate more complex, non-Gaussian distributions. Besides, we also exploit the pseudo-labeled target samples to learn discriminative representations in the target domain, which further improves the transfer performance. Extensive experiments are conducted, showing that our proposed HoMM consistently outperforms the existing moment matching methods by a large margin. Codes are available at \url{https://github.com/chenchao666/HoMM-Master}

研究の動機と目的

• 第一および第二モーメント（平均および共分散）に依存する既存の教師なしドメイン適応手法の限界を解決する。これらは複雑な非ガウス型特徴分布を捉えることができない。
• 3次および4次モーメントといった高次統計量が、ドメイン間の非ガウス型ディープ特徴分布をより良く特徴付け、一致させることの可能性を調査する。
• MMD（第一次）および CORAL（第二次）を一般化し、任意の順序のモーメント一致を可能にする統一フレームワークを構築し、ドメイン差違の最小化を改善する。
• 信頼性の高いターゲットサンプルに基づく疑似ラベル化戦略を導入し、ターゲットドメインにおける判別的クラスタの学習を促進することで、特徴の判別性を向上させる。
• 標準ドメイン適応ベンチマーク上で広範な実験を実施し、先行手法を上回る性能向上を実証する。

提案手法

• ソースドメインとターゲットドメイン間で任意の順序 p ∈ {1,2,3,4,...} のモーメントテンソルを一致させる統一フレームワークとして Higher-order Moment Matching (HoMM) を提案する。
• HoMM損失を、ソース特徴とターゲット特徴のp次モーメントテンソルの差のL2ノルムとして定式化し、細分化された分布一致を可能にする。
• 第一次のHoMMが Maximum Mean Discrepancy (MMD) に還元され、第二次のHoMMが Correlation Alignment (CORAL) と同等であることを示し、両手法を一般化することを確認する。
• 非線形分布一致を向上させるために、Reproducing Kernel Hilbert Spaces (RKHS) にHoMMを拡張する。
• 高信頼度の予測を用いてクラスタを形成する疑似ラベル化に基づく判別的クラスタリング損失を統合し、特徴の判別性を向上させる。
• エンド・ツー・エンドの学習により、HoMM損失と分類損失、クラスタリング損失を統合して最適化することで、ドメイン差違の最小化と一般化性能の向上を同時に達成する。

実験結果

リサーチクエスチョン

• RQ1 非ガウス型ディープ特徴分布に対して、3次および4次モーメント一致が、第一および第二モーメント統計量よりも優れたドメイン整合を実現できるか？
• RQ2 異なるモーメント順序（p=1 から p=10）におけるHoMMの性能はどのように変化するか？ドメイン適応における最適な順序は何か？
• RQ3 RKHS にHoMMを拡張することで、複雑な非線形特徴空間におけるドメイン整合性と一般化性能が向上するか？
• RQ4 信頼性の高いターゲットサンプルの疑似ラベル化により、真のラベルが存在しない状況下でも特徴の判別性と転移性能が向上するか？
• RQ5 ハイパーパrameter（クラスタリング損失重みや予測閾値）に、HoMMフレームワークはどれほど感度を示すか？

主な発見

• SVHN→MNIST、Office-Home→VisDA、Office-31 ベンチマークにおいて、3次および4次モーメント一致が、他のすべてのモーメント順序を上回り、SVHN→MNIST ではそれぞれ96.5%および95.7%のテスト精度を達成した。
• 5次モーメント一致も高い性能（SVHN→MNIST で94.8%）を示したが、より高い順序（p≥5）では、小さなサンプルサイズによる推定の悪化により性能が低下した。
• p=3 の場合、提案されたHoMM手法は、評価されたすべてのタスクで最先端の性能を達成し、MMD、CORAL、CMD よりも顕著な差を示した。
• HoMMとクラスタリング損失を統合した完全モデル（Full Loss）は、収束が早く、20,000イテレーション目でクラスタリング損失が有効化された際にテスト誤差が急激に低下することが確認され、その有効性が裏付けられた。
• アブレーションスタディの結果、クラスタリング損失（L_dc）は不可欠であることが判明。これを除去すると性能が低下し、ハイパーパrameter λ_dc に対しても感受性を示すため、正則化の役割を果たしていることが示された。
• t-SNE可視化により、HoMMはMMD や CORAL よりもより良い整合性と判別性を持つ特徴表現を生成しており、明確なクラス分離とドメインシフトの低減が確認された。