[논문 리뷰] Two-sample Test with Kernel Projected Wasserstein Distance

Jie Wang, Rui Gao외 1명|arXiv (Cornell University)|2021. 02. 12.

Anomaly Detection Techniques and Applications참고 문헌 60인용 수 5

한 줄 요약

이 논문은 고차원 이표본 검정을 위한 커널 프로젝션 워샤프스키( KPW) 거리 방법을 제안하며, 재생 커널 힐버트 공간(RKHS)을 통한 비선형 투영을 사용하여 분포 간 이질성을 최대화한다. 이 방법은 선형 투영보다 차원의 저주를 더 효과적으로 피하고, 계산적으로 효율적인 알고리즘과 비점근적 불확도 정량화를 제공하여 인위적 데이터와 인간 활동 탐지와 같은 실제 데이터에서 뛰어난 성능을 보인다.

ABSTRACT

We develop a kernel projected Wasserstein distance for the two-sample test, an essential building block in statistics and machine learning: given two sets of samples, to determine whether they are from the same distribution. This method operates by finding the nonlinear mapping in the data space which maximizes the distance between projected distributions. In contrast to existing works about projected Wasserstein distance, the proposed method circumvents the curse of dimensionality more efficiently. We present practical algorithms for computing this distance function together with the non-asymptotic uncertainty quantification of empirical estimates. Numerical examples validate our theoretical results and demonstrate good performance of the proposed method.

연구 동기 및 목표

• 기존 방법이 차원의 저주로 어려움을 겪는 고차원 데이터에서의 이표본 검정 문제를 해결하기 위해.
• 복잡한 비선형 데이터 구조를 포착하는 데에 선형 투영 기반 방법보다 뛰어난 비모수적 검정을 개발하기 위해.
• empirical 추정치에 대한 불확도 정량화 이론적 보장을 제공하는 계산적으로 효율적인 알고리즘을 제공하기 위해.
• 인위적 데이터와 실제 데이터(인간 활동 탐지 및 변화점 탐지 포함)에서 방법의 유효성을 검증하기 위해.

제안 방법

• 방법은 재생 커널 힐버트 공간(RKHS) 기반의 비선형 프로젝터를 사용하여 데이터를 분포 차이가 최대가 되는 저차원 공간으로 매핑한다.
• 대표자 정리(representer theorem)를 활용해 커널 프로젝션 워샤프스키 거리를 유한차원 최적화 문제로 공식화한다.
• 복잡도 O(ϵ⁻³)를 갖는 블록 좌표 강하 알고리즘을 사용하여 ϵ-정류점(ϵ-stationary point)을 찾는다.
• 커버링 수 논증을 이용해 경험적 KPW 거리에 대한 비점근적 경계를 유도하여 불확도를 정량화하고 탐지 임계값을 설정한다.
• 커널 기법을 통해 함수 공간의 명시적 매개변수화 없이도 효율적인 계산을 가능하게 한다.
• 사전 훈련된 비선형 프로젝터를 사용하여 슬라이딩 윈도우 기반 분포 비교를 통해 온라인 변화점 탐지로 방법을 확장한다.

실험 결과

연구 질문

• RQ1 RKHS 기반의 비선형 투영은 선형 투영 대비 고차원 설정에서 이표본 검정의 검정력을 향상시키는가?
• RQ2 제안된 커널 프로젝션 워샤프스키 거리는 기존 비모수적 검정보다 차원의 저주를 더 효과적으로 피하는가?
• RQ3 프로젝션 차원 d의 선택은 검정 성능과 표본 복잡도에 어떤 영향을 미치는가?
• RQ4 엔트로픽 정규화의 영향은 KPW 검정의 성능과 강건성에 어떤 영향을 미치는가?
• RQ5 비점근적 불확도 정량화를 통해 신뢰할 수 있는 가짜 탐지율 제어가 가능한가?

주요 결과

• KPW 검정은 비선형 패턴을 보이는 데이터에서 선형 투영 방법보다 더 높은 검정력을 확보한다.
• d > 1 인 다양한 프로젝션 차원에서 뛰어난 성능 유지를 보이며, d > 1 이면 d의 변화에 민감하지 않음을 확인했다.
• η = 0 (정확한 워샤프스키) 인 KPW 검정은 정규화된 버전과 유사한 성능을 보이며, 성능 향상의 주요 원인이 엔트로픽 정규화가 아니라 커널 투영임을 시사한다.
• Sinkhorn+ 검정은 여전히 차원의 저주에 노출되어 있으나, KPW는 비선형 커널 투영 덕분에 이를 피한다.
• 인간 활동 탐지에서 KPW 검정은 낮은 지연으로 변화점 탐지에 성공하여 기준 방법을 능가한다.
• 경험적 KPW 거리에 대한 비점근적 경계를 도출하고 검증하여 가짜 탐지율 제어를 위한 신뢰할 수 있는 임계값 설정이 가능해졌다.