[논문 리뷰] Relative Density-Ratio Estimation for Robust Distribution Comparison

Makoto Yamada, Taiji Suzuki외 3명|arXiv (Cornell University)|2011. 06. 23.

Machine Learning and Algorithms인용 수 28

한 줄 요약

이 논문은 α-상대적 발산을 사용하여 원천 및 대상 분포의 볼록 혼합을 통해 밀도 비율을 매끄럽게 함으로써 분포 비교의 안정성을 향상시키기 위한 상대 밀도 비율 추정을 제안한다. 이 방법은 비모수적 수렴 속도를 빠르게 하고 모델 복잡도에 의존하지 않는 점근적 분산을 달성하여 과적합을 줄이고 이상치 탐지 및 이중표본 검정에서의 안정성을 향상시킨다.

ABSTRACT

Divergence estimators based on direct approximation of density-ratios without going through separate approximation of numerator and denominator densities have been successfully applied to machine learning tasks that involve distribution comparison such as outlier detection, transfer learning, and two-sample homogeneity test. However, since density-ratio functions often possess high fluctuation, divergence estimation is still a challenging task in practice. In this paper, we propose to use relative divergences for distribution comparison, which involves approximation of relative density-ratios. Since relative density-ratios are always smoother than corresponding ordinary density-ratios, our proposed method is favorable in terms of the non-parametric convergence speed. Furthermore, we show that the proposed divergence estimator has asymptotic variance independent of the model complexity under a parametric setup, implying that the proposed estimator hardly overfits even with complex models. Through experiments, we demonstrate the usefulness of the proposed approach.

연구 동기 및 목표

• 분포 비교에서 분모 밀도가 작은 영역에서의 고도의 변동성과 잠재적 발산으로 인해 발생하는 밀도 비율 추정의 불안정성 문제를 해결한다.
• 표준 밀도 비율 추정기의 낮은 비모수적 수렴 속도를 극복한다. 이는 진짜 비율의 sup-노름에 의해 결정된다.
• 복잡한 모델이나 비이상적인 데이터 조건에서도 정확성과 안정성을 유지하는 강력한 분포 비교 프레임워크를 개발한다.
• 제안된 α-상대 발산 추정기의 점근적 분산이 모델 복잡도에 독립적임을 보여주어 과적합 위험을 감소시킨다.

제안 방법

• 0 ≤ α < 1 인 경우, p(x)에서 p̃(x) = αp(x) + (1 - α)p'(x)로의 새로운 발산 측정인 α-상대 발산을 도입하여 밀도 비율을 안정화시킨다.
• α-상대 피어슨(PE) 발산을 $ \mathrm{PE}_\alpha[p, p'] = \frac{1}{2} \int \left( \frac{p(\boldsymbol{x})}{\alpha p(\boldsymbol{x}) + (1 - \alpha) p'(\boldsymbol{x})} - 1 \right)^2 (\alpha p(\boldsymbol{x}) + (1 - \alpha) p'(\boldsymbol{x})) \, d\boldsymbol{x} $ 로 정의하여 비율의 극단적 값 방지를 도모한다.
• 비제약 최소제곱 중요도 적합(uLSIF)을 사용하여 상대 밀도 비율 $ r_\alpha(\boldsymbol{x}) = \frac{p(\boldsymbol{x})}{\alpha p(\boldsymbol{x}) + (1 - \alpha) p'(\boldsymbol{x})} $ 를 추정함으로써 선형 시스템을 통한 해석적 계산을 가능하게 한다.
• 추정기의 점근적 분산을 유도하고, 매개변수적 가정 하에 모델 복잡도에 의존하지 않음을 보여주어 과적합에 대한 강건성을 입증한다.
• 점근적 전개 및 영향 함수 분석을 통해 추정기의 점근적 분포를 유도하여 안정성 및 수렴 성질을 확인한다.
• 이론적 분석 결과를 이상치 탐지 및 이중표본 동질성 검정과 같은 실용적 과제에 적용하여 표준 밀도 비율 방법보다 향상된 성능을 보여준다.

실험 결과

연구 질문

• RQ1 상대 밀도 비율 추정은 분포 비교 과제에서 발산 추정기의 비모수적 수렴 속도를 향상시킬 수 있는가?
• RQ2 제안된 α-상대 발산 추정기는 모델 복잡도에 독립적인 점근적 분산을 보이며 과적합을 감소시키는가?
• RQ3 상대 밀도 비율 공식화는 표준 밀도 비율 추정에서 발생하는 고도의 변동성으로 인한 불안정성을 어떻게 완화하는가?
• RQ4 일반 조건 하에서 uLSIF 기반의 α-상대 PE 발산 추정기의 이론적 수렴 행동은 어떠한가?
• RQ5 실제 응용, 예를 들어 이상치 탐지 및 이중표본 검정에서 제안된 방법은 표준 밀도 비율 기반 접근법을 초월할 수 있는가?

주요 결과

• 제안된 α-상대 발산 추정기는 상대 밀도 비율 $ r_\alpha(\boldsymbol{x}) $ 의 sup-노름에 의해 결정되는 비모수적 수렴 속도를 달성한다. 이는 표준 밀도 비율보다 본질적으로 더 매끄럽다.
• 매개변수적 설정 하에서 추정기의 점근적 분산은 모델 복잡도에 독립적임을 보여주어 복잡한 모델에서도 과적합에 강건함을 시사한다.
• 분산의 경계는 $ \mathbb{V}[\widehat{\mathrm{PE}}_\alpha] \leq \frac{\|r_\alpha\|_\infty^2}{n} + \frac{\alpha^2 \|r_\alpha\|_\infty^4}{4n} + \frac{(1 - \alpha)^2 \|r_\alpha\|_\infty^4}{4n'} + o(1/n, 1/n') $ 로 유도되어 변동성이 유한함을 보여준다.
• 영향 함수 분석을 통해 추정기의 점근적 분포를 도출하여 정규성 조건 하에서 일致성과 안정성을 확인한다.
• 실험 결과는 이상치 탐지 및 이중표본 동질성 검정에서 표준 밀도 비율 기반 방법보다 뛰어난 성능을 보임을 입증한다.
• 분모의 α-혼합 효과로 인해 $ p'(\boldsymbol{x}) $ 가 작은 영역에서의 발산 문제를 효과적으로 방지한다.