[論文レビュー] Robust Learning with the Hilbert-Schmidt Independence Criterion

Daniel Greenfeld, Uri Shalit|arXiv (Cornell University)|Oct 1, 2019

Domain Adaptation and Few-Shot Learning参考文献 35被引用数 10

ひとこと要約

本論文は、入力特徴量とモデルの残差が統計的に独立であるように促進することで、教師なしの共変量シフト下での頑健な回帰・分類モデルを訓練するため、ヒルベルト＝シュミット独立性基準（HSIC）を損失関数として使用することを提案する。この手法は、挑戦的な細胞顕微鏡データセットにおいて、標準的な交差エントロピー損失を上回る最先端の性能を達成しており、特に分布がシフトしたテストセットにおいて顕著な優位性を示す。

ABSTRACT

We investigate the use of a non-parametric independence measure, the Hilbert-Schmidt Independence Criterion (HSIC), as a loss-function for learning robust regression and classification models. This loss-function encourages learning models where the distribution of the residuals between the label and the model prediction is statistically independent of the distribution of the instances themselves. This loss-function was first proposed by Mooij et al. (2009) in the context of learning causal graphs. We adapt it to the task of learning for unsupervised covariate shift: learning on a source domain without access to any instances or labels from the unknown target domain, but with the assumption that $p(y|x)$ (the conditional probability of labels given instances) remains the same in the target domain. We show that the proposed loss is expected to give rise to models that generalize well on a class of target domains characterised by the complexity of their description within a reproducing kernel Hilbert space. Experiments on unsupervised covariate shift tasks demonstrate that models learned with the proposed loss-function outperform models learned with standard loss functions, achieving state-of-the-art results on a challenging cell-microscopy unsupervised covariate shift task.

研究の動機と目的

• 教師なしの共変量シフト下で一般化性能が優れる学習フレームワークの開発を目的とし、テスト分布の入力周辺分布が学習時とは異なるが、条件付きラベル分布は変化しない状況を想定する。
• 標準的な損失関数の限界を解決することを目的とし、学習ドメイン内の特定のサブグループに過学習してしまう可能性があり、分布シフト下で失敗するのを防ぐ。
• 非パラメトリックな独立性測定であるHSICを活用し、予測誤差が入力特徴量と統計的に独立になるように学習するモデルを構築することで、頑健性を向上させる。
• 一様収束と有界なRKHS複雑度の下で、HSICに基づく損失関数の学習可能性を理論的に裏付ける。
• 実世界の分布がシフトしたベンチマークにおいて、HSIC損失モデルが標準的な損失関数を上回ることを実験的に検証する。特に、顕著なドメインシフトを示す顕微鏡画像分類タスクにおいて顕著な優位性を示す。

提案手法

• 本手法は、モデルの残差（Y - f(X)）と入力特徴量Xの間のHSICを最小化することで学習を定式化し、パラメトリックなノイズ分布の仮定をせず、統計的独立性を強制する。
• 再生成核ヒルバート空間（RKHS）におけるカーネルベース推定を用いてHSICを推定し、残差と入力の間の非パラメトリックな独立性検定を可能にする。
• 真のモデルが Y = f*(X) + ε かつ ε ⊥⊥ X を満たすと仮定し、予測が Y - f(X) ⊥⊥ X となるように f* を回復することを目的とする。
• 教師データのみを用い、ターゲットドメインデータへのアクセスなしに、確率的勾配降下法（例：Adam）を用いて損失を最適化する。
• 深層畳み込みニューラルネットワーク（例：11層のCNN）に、標準的な交差エントロピー損失やMSE損失の代わりにHSIC損失を適用して訓練する。
• 実験では、特に細胞顕微鏡ベンチマークにおいて頑健性を向上させるために、テスト時増強を適用している。

実験結果

リサーチクエスチョン

• RQ1 HSICベースの学習は、標準的な損失関数と比較して、教師なしの共変量シフト下でより良い一般化性能を達成できるか？
• RQ2 残差と入力の間の統計的独立性を強制することで、分布がシフトしたテストセットにおける頑健性が向上するか？
• RQ3 分布シフトがRKHS複雑度で有界である場合、一様収束の下でHSIC損失は学習可能か？特に、その一般化特性が理論的に裏付けられるか？
• RQ4 HSICベースの訓練は、交差エントロピー訓練と比較して、元のドメインと徐々にシフトが進むターゲットドメインの両方で性能に優れるか？
• RQ5 顕著なドメインシフトを示す実世界のベンチマーク、例えば顕微鏡画像分類タスクにおいて、HSIC損失は最先端の結果を達成できるか？

主な発見

• 細胞外のサンプルデータセットでは、HSIC損失モデルがTarget1で99.2%、Target2で98.8%、Target3で93.4%、Target4で95.3%の精度を達成し、交差エントロピー損失モデルを上回った。
• 特に挑戦的なターゲット分布（Target3およびTarget4）では、HSICベースのモデルが最先端の結果を達成しており、交差エントロピー損失モデルが著しく性能を発揮しなかった。
• テスト時増強を適用しなくても、HSICモデルはすべてのターゲットセットで交差エントロピー損失モデルに加えて増強を適用した場合と同等以上に性能を発揮した。
• HSICモデルは元のドメイン（Target1）でも高い性能（99.2%）を維持しており、元の分布における性能劣化がなかった。
• ターゲットドメインデータへのアクセスなしに、分布シフトに対して頑健であることが実証され、無教師性が裏付けられた。
• 理論的分析により、分布シフトがRKHS複雑度で有界である場合、一様収束の下でHSIC損失は学習可能であることが示され、一般化特性が裏付けられた。