[논문 리뷰] Interpretable Distribution Features with Maximum Testing Power

Wittawat Jitkrittum, Zoltán Szabó외 2명|arXiv (Cornell University)|2016. 05. 22.

Statistical Methods and Inference참고 문헌 22인용 수 18

한 줄 요약

이 논문은 통계적 검정의 검정력(유의수준)을 극대화하기 위해 공간적 및 주파수 기반 특징을 최적화하여 해석 가능한 분포 특징을 제안한다. 분석 함수를 학습된 위치에서 평가하는 ME 및 SCF 검정을 도입하여, MMD와 유사한 이차시간 성능을 가지면서도 인간이 이해할 수 있는 방식으로 고차원 분포(예: 텍스트 및 이미지) 간의 차이를 제공한다.

ABSTRACT

Two semimetrics on probability distributions are proposed, given as the sum of differences of expectations of analytic functions evaluated at spatial or frequency locations (i.e, features). The features are chosen so as to maximize the distinguishability of the distributions, by optimizing a lower bound on test power for a statistical test using these features. The result is a parsimonious and interpretable indication of how and where two distributions differ locally. An empirical estimate of the test power criterion converges with increasing sample size, ensuring the quality of the returned features. In real-world benchmarks on high-dimensional text and image data, linear-time tests using the proposed semimetrics achieve comparable performance to the state-of-the-art quadratic-time maximum mean discrepancy test, while returning human-interpretable features that explain the test results.

연구 동기 및 목표

• 고차원 공간에서 두 확률 분포 간의 해석 가능한 구별 특징을 식별하기 위한 방법을 개발하는 것.
• 이원 검정의 통계적 검정력을 극대화하면서도 특징의 해석 가능성 보장.
• MMD와 같은 최신 이차시간 방법에 비해 성능이 유사하거나 이를 초월하는 선형시간 검정을 가능하게 하는 것.
• 지역적 차이를 강조하는 특징을 학습하기 위한 원칙적이고 수렴 보장이 있는 방법 제공.

제안 방법

• 검정력의 하한을 최적화하여 분포 기대값의 차이가 극대가 되는 공간적(메트릭 기반 검정) 또는 주파수 기반(스무스한 특징 함수 기반 검정) 위치를 선택하는 방법.
• 이러한 최적화된 위치에서 평가된 해석 함수를 사용하여 분포 간의 준거리수를 계산함으로써 선형시간 계산을 가능하게 한다.
• 검토된 데이터에서 추정된 일致한 目적 함수에 기반한 특징 선택으로, 경험적 검정력 기준의 수렴을 보장한다.
• 커널 방법과 특징 함수를 활용하며, 가우시안 커널에 대해 검정력 추정치의 균일 수렴에 대한 이론적 보장을 제공한다.
• ME 검정은 최적화된 공간적 점에서의 평균 임bedding을 사용하고, SCF 검정은 최적화된 주파수 점에서의 스무스한 경험적 특징 함수를 사용한다.
• 이론적 분석을 통해 경험적 검정력 기준 추정치가 인구값으로 균일하게 수렴함을 증명하여, 신뢰할 수 있는 특징 선택을 보장한다.

실험 결과

연구 질문

• RQ1 우리는 두 고차원 확률 분포를 가장 잘 구별하는 소규모 해석 가능한 특징 집합을 식별할 수 있는가?
• RQ2 특징 위치를 어떻게 최적화하여 이원 검정의 통계적 검정력을 극대화할 수 있는가?
• RQ3 선형시간 이원 검정이 MMD와 유사한 성능을 달성하면서도 해석 가능할 수 있는가?
• RQ4 제안된 최적화 하에 경험적 검정력 기준 추정치가 인구값으로 균일하게 수렴하는가?
• RQ5 제안된 방법은 텍스트 및 얼굴 이미지와 같은 복잡한 데이터에서 의미 있는 인간 해석 가능한 차이를 드러낼 수 있는가?

주요 결과

• 제안된 ME 및 SCF 검정은 선형 시간에만 의존함에도 불구하고, 최신 기술인 이차시간 MMD 검정과 유사한 검정 성능을 달성한다.
• 검정력 기준의 경험적 추정치가 인구값으로 균일하게 수렴함을 확인하여 학습된 특징의 신뢰성 검증.
• 텍스트(NIPS 논문집) 및 이미지(얼굴 표정) 데이터에서 명확히 분포의 차이를 설명하는 해석 가능한 특징을 발견함.
• Chwialkowski 등(2015)의 무작위 특징 선택에 비해 최적화된 특징이 유의미하게 뛰어난 검정력을 보임.
• 비시각화 가능한 워치맨 함수의 한계를 극복하여, 두 분포가 지역적으로 어디서 어떻게 다름을 파악할 수 있는 단순하고 해석 가능한 정보 제공.
• 이론적 수렴 보장으로 인해 표본 크기가 증가함에 따라 특징 선택 과정이 통계적으로 타당하고 강건함을 보장함.