[논문 리뷰] Robust Learning with the Hilbert-Schmidt Independence Criterion

Daniel Greenfeld, Uri Shalit|arXiv (Cornell University)|2019. 10. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 35인용 수 10

한 줄 요약

이 논문은 비지도 공변량 이동 상황에서 강건한 회귀 및 분류 모델을 훈련하기 위해 힐버트-슈미트 독립성 기준(HSIC)을 손실 함수로 사용하는 것을 제안한다. 이는 모델 잔차가 입력 특징과 독립이 되도록 유도한다. 이 방법은 도전적인 세포 현미경 이미지 데이터셋에서 최신 기준 성능을 달성하며, 특히 분포가 이동된 테스트 세트에서 표준 교차 엔트로피 손실보다 뛰어난 성능을 보인다.

ABSTRACT

We investigate the use of a non-parametric independence measure, the Hilbert-Schmidt Independence Criterion (HSIC), as a loss-function for learning robust regression and classification models. This loss-function encourages learning models where the distribution of the residuals between the label and the model prediction is statistically independent of the distribution of the instances themselves. This loss-function was first proposed by Mooij et al. (2009) in the context of learning causal graphs. We adapt it to the task of learning for unsupervised covariate shift: learning on a source domain without access to any instances or labels from the unknown target domain, but with the assumption that $p(y|x)$ (the conditional probability of labels given instances) remains the same in the target domain. We show that the proposed loss is expected to give rise to models that generalize well on a class of target domains characterised by the complexity of their description within a reproducing kernel Hilbert space. Experiments on unsupervised covariate shift tasks demonstrate that models learned with the proposed loss-function outperform models learned with standard loss functions, achieving state-of-the-art results on a challenging cell-microscopy unsupervised covariate shift task.

연구 동기 및 목표

• 비지도 공변량 이동 상황에서 일반화 성능이 뛰어난 학습 프레임워크를 개발하는 것. 이 경우 테스트 분포의 입력 근연 분포가 훈련과 다를 수 있지만 조건부 레이블 분포는 그대로 유지된다.
• 표준 손실 함수의 한계를 해결하는 것. 이는 기존 도메인 내 특정 부분집단에 과적합될 수 있으며, 분포가 이동했을 경우 실패할 수 있다.
• 비모수적 독립성 측정인 HSIC를 활용하여 예측 오차가 입력 특징과 통계적으로 독립이 되는 모델을 학습함으로써 강건성을 향상시키는 것.
• 균일 수렴과 유한한 RKHS 복잡도 조건 하에서 HSIC 기반 손실의 학습 가능성에 대한 이론적 근거를 제시하는 것.
• 실제 분포가 이동된 벤치마크에서 HSIC 손실 기반 모델이 표준 손실 함수보다 뛰어난 성능을 보임을 경험적으로 검증하는 것. 특히 과도한 도메인 이동이 있는 현미경 영상 분류 작업에서 성능이 뛰어나다.

제안 방법

• 학습을 모델 잔차(Y - f(X))와 입력 특징 X 간의 HSIC를 최소화하는 것으로 설정하여, 모수적 잡음 분포를 가정하지 않고 통계적 독립성을 강제한다.
• 재생 커널 힐버트 공간(RKHS) 내에서 커널 기반의 HSIC 추정기를 사용하여 잔차와 입력 간의 비모수적 독립성 검정을 가능하게 한다.
• 진짜 모델이 Y = f*(X) + ε 이며, ε ⊥⊥ X 라는 가정을 하고, Y - f(X) ⊥⊥ X 가 되도록 예측을 학습함으로써 f*를 복구하고자 한다.
• 목표 도메인 데이터에 접근할 수 없으며, 오직 소스 도메인 데이터와 HSIC 독립성 기준에 의존하여 손실을 확률적 경사 하강법(예: Adam)을 통해 최적화한다.
• 딥 네URAL 네트워크(예: 11층 CNN)에 HSIC 손실을 도입하여 표준 교차 엔트로피나 MSE 손실을 대체하여 훈련한다.
• 실험에서 테스트 시 시간 증강을 적용하여 특히 세포 현미경 벤치마크에서 강건성을 추가로 향상시켰다.

실험 결과

연구 질문

• RQ1 HSIC 기반 학습은 표준 손실 함수에 비해 비지도 공변량 이동 상황에서 더 나은 일반화 성능을 보일 수 있는가?
• RQ2 잔차와 입력 간의 통계적 독립성을 강제하면 분포가 이동된 테스트 세트에서 성능이 향상되는가?
• RQ3 특히 분포 이동이 RKHS 복잡도 범위 내에서 유계일 경우, HSIC 손실이 균일 수렴 조건 하에서 학습 가능한가?
• RQ4 소스 도메인과 점점 더 이동된 타겟 도메인에서 HSIC 기반 훈련은 표준 교차 엔트로피 훈련에 비해 성능가능한가?
• RQ5 HSIC 손실은 현미경 영상 분류와 같이 심각한 도메인 이동이 있는 실제 벤치마크에서 최신 기준 성능을 달성할 수 있는가?

주요 결과

• 세포 외부 샘플 데이터셋에서 HSIC 손실 모델은 Target1에서 99.2% 정확도, Target2에서 98.8%, Target3에서 93.4%, Target4에서 95.3%를 기록하여 교차 엔트로피 모델을 능가했다.
• 가장 도전적인 타겟 분포(특히 Target3 및 Target4)에서 HSIC 기반 모델은 최신 기준 성능을 달성했으며, 교차 엔트로피 모델은 상대적으로 성능이 저하되었다.
• 테스트 시 시간 증강 없이도, HSIC 모델은 모든 타겟 세트에서 교차 엔트로피 모델의 증강 성능를 유지하거나 초월했다.
• 원래 분포에서 높은 성능(99.2% on Target1)을 유지함으로써, 소스 분포에서의 성능 저하가 없음을 보여주었다.
• 타겟 도메인 데이터에 접근하지 않아도 분포 이동에 강건함을 입증하여, 비지도 성격을 확인했다.
• 이론적 분석 결과, 분포 이동이 RKHS 복잡도 범위 내에서 유계일 경우, HSIC 손실은 균일 수렴 조건 하에서 학습 가능하며, 이는 일반화 성질을 뒷받침한다.