[論文レビュー] Kernelized Heterogeneous Risk Minimization

Jiashuo Liu, Zheyuan Hu+3 more|arXiv (Cornell University)|Oct 24, 2021

Domain Adaptation and Few-Shot Learning参考文献 23被引用数 9

ひとこと要約

本稿では、核関数を用いたアプローチにより、ニューラルタングェント特徴（NTF）空間において、潜在的な不均一性の探索と不変学習を同時に最適化する新規手法、Kernelized Heterogeneous Risk Minimization（KerHRM）を提案する。NTK理論を活用し、不変勾配降下法を導入することで、明示的な環境ラベルを必要とせずに、分布外一般化が可能となり、合成データおよび実世界のベンチマークで最先端の性能を達成した。

ABSTRACT

The ability to generalize under distributional shifts is essential to reliable machine learning, while models optimized with empirical risk minimization usually fail on non-$i.i.d$ testing data. Recently, invariant learning methods for out-of-distribution (OOD) generalization propose to find causally invariant relationships with multi-environments. However, modern datasets are frequently multi-sourced without explicit source labels, rendering many invariant learning methods inapplicable. In this paper, we propose Kernelized Heterogeneous Risk Minimization (KerHRM) algorithm, which achieves both the latent heterogeneity exploration and invariant learning in kernel space, and then gives feedback to the original neural network by appointing invariant gradient direction. We theoretically justify our algorithm and empirically validate the effectiveness of our algorithm with extensive experiments.

研究の動機と目的

• 複数のラベルなしのデータソースから集約されたトレーニングデータを用いた実世界のデータにおける分布外（OOD）一般化の課題に対処すること。
• 環境ラベルを明示的に必要とする従来の不変学習手法の限界を克服し、環境推定に事前学習済みのバイアスを含むモデルに依存しないこと。
• 特に画像のような複雑なデータに対して、表現空間における潜在的不均一性の同定と不変表現学習の共同最適化を可能にすること。
• レート歪み理論と核直交性を用いて、不均一性の探索と不変学習の相互促進を理論的に正当化すること。
• 不変表現学習による不均一性の消失を避けるために、トレーニング中に環境固有の特徴を保持する方法を確立すること。

提案手法

• ニューラルタングェントカーネル（NTK）理論を用いて、入力データをニューラルタングェント特徴（NTF）空間にマップし、深層ニューラルネットワークのトレーニングを線形化すること。
• NTF空間で不変学習を実行し、元のニューラルネットワークに不変勾配方向をフィードバックする新規な不変勾配降下法（IGD）アルゴリズムを提案すること。
• 環境固有の特徴を捉え、潜在的不均一性の発見を加速する直交性を考慮した不均一性認識の核関数を設計すること。
• NTF空間で二つのモジュールを同時に最適化する：不均一性探索モジュール $\mathcal{M}_c$ と不変学習モジュール $\mathcal{M}_p$。
• NTF空間における核回帰を用いて、クラスタリングパラメータ $\Theta_j$ の解析的解を導出し、不変方向に対して直交性を保証すること。
• 理論的に、各トレーニングステップにおける変動特徴空間が不変方向に対して直交することを証明し、不変成分と変動成分の相互排他的性を保証すること。

実験結果

リサーチクエスチョン

• RQ1 明示的な環境ラベルが存在しない状況下でも、表現空間における潜在的不均一性を効果的に同定・保持できるか？
• RQ2 不変学習と不均一性探索をどのように共同最適化することで、OOD一般化を向上させられるか？
• RQ3 NTF空間と核関数の使用が、不変成分と変動成分の共同最適化に理論的保証を提供できるか？
• RQ4 提案された直交性を考慮した核設計は、環境固有の特徴の同定を向上させるとともに、不変性を維持できるか？
• RQ5 実世界および合成データにおいて、KerHRMは既存手法と比較してOOD一般化性能で優れているか？

主な発見

• KerHRMは、合成データおよび実世界のデータセットにおいて、従来の不変学習および分布ロバスト最適化手法を上回る、最先端のOOD一般化性能を達成した。
• 理論的分析により、各トレーニングステップにおける変動特徴空間が不変方向に対して直交していることが確認され、不変成分と不均一成分の分離が保証された。
• 直交性を考慮した不均一性認識の核関数は、環境固有の特徴を効果的に捉えており、トレーニング中に潜在的不均一性が消失するのを防いでいる。
• 実験的結果から、環境ラベルが存在しない状況下でも、KerHRMは分布シフトに対して強い一般化性能を維持していることが示された。
• 従来のディープラーニングモデルとは異なり、KerHRMはトレーニング中に変動特徴を保持しており、これは不均一性の同定にとって極めて重要である。
• NTF空間における $\mathcal{M}_c$ と $\mathcal{M}_p$ の共同最適化により、相互促進が実現され、不均一性検出と不変性学習の両方が向上した。