[논문 리뷰] Two-sample Testing Using Deep Learning

Matthias Kirchler, Shahryar Khorasani외 2명|arXiv (Cornell University)|2019. 10. 14.

Music and Audio Processing참고 문헌 33인용 수 7

한 줄 요약

이 논문은 사전 훈련된 신경망의 표현을 활용하여 통계적 검정력을 향상시키는 딥러닝 기반 이중표본 검정을 제안한다. 데이터를 은닉층으로 매핑하고 점근적 위치검정을 적용함으로써, MMD나 C2ST와 같은 최신 기법들에 비해 최대 35%포인트의 타입-2 오류 감소를 달성하면서도 타입-1 오류 제어를 유지하고 선형시간 계산을 가능하게 한다.

ABSTRACT

We propose a two-sample testing procedure based on learned deep neural network representations. To this end, we define two test statistics that perform an asymptotic location test on data samples mapped onto a hidden layer. The tests are consistent and asymptotically control the type-1 error rate. Their test statistics can be evaluated in linear time (in the sample size). Suitable data representations are obtained in a data-driven way, by solving a supervised or unsupervised transfer-learning task on an auxiliary (potentially distinct) data set. If no auxiliary data is available, we split the data into two chunks: one for learning representations and one for computing the test statistic. In experiments on audio samples, natural images and three-dimensional neuroimaging data our tests yield significant decreases in type-2 error rate (up to 35 percentage points) compared to state-of-the-art two-sample tests such as kernel-methods and classifier two-sample tests.

연구 동기 및 목표

• 이미지, 오디오, 뇌영상과 같은 복잡하고 구조화된 데이터를 다루는 데에 한계를 보이는 전통적 이중표본 검정의 문제점을 해결하기 위해.
• 보조 데이터 또는 데이터 분할을 통해 학습된 딥 네트워크 표현을 활용하여 통계적 검정력을 향상시키기 위해.
• 약한 가정 하에 점근적 타입-1 오류 제어를 유지하고 일致성(점차 감소하는 타입-2 오류)을 확보하는 검정법을 개발하기 위해.
• 재표본화나 커널 선택 민감도에 의존하지 않고 선형시간 평가가 가능한 검정 통계량을 구현하기 위해.
• 고차원 및 복잡한 데이터 환경에서 커널 방법과 분류기 기반 검정법에 대한 강건하고 데이터 기반의 대안을 제공하기 위해.

제안 방법

• 보조 데이터셋에서 훈련하거나 데이터 분할을 통해 훈련된 사전 훈련된 딥 네트워크를 사용하여 입력 샘플의 표현을 추출한다.
• 두 가지 검정 통계량을 제안한다: 하나는 최대 평균 차이(MMD) 기반이고 다른 하나는 피셔 판별 분석 기반이며, 모두 은닉층 표현에 적용된다.
• 귀무가설 하에서 검정 통계량은 점근적으로 정규분포를 따르며, 표준 정규분포 근사법을 통해 p-값을 계산할 수 있다.
• 이 방법은 검정 통계량의 선형시간 평가를 가능하게 하여 표본 크기에 따라 효율적으로 확장할 수 있다.
• 전이학습을 통해 보조 데이터가 테스트 데이터와 다를 경우에도 강건하고 일반화 가능한 표현을 확보할 수 있다.
• 보조 데이터가 없을 경우, 데이터를 두 부분으로 나누어 하나는 표현 학습에, 다른 하나는 검정 통계량 계산에 사용한다.

실험 결과

연구 질문

• RQ1 딥 네트워크 표현은 이미지, 오디오, 3D 뇌영상과 같은 복잡한 데이터에서 이중표본 검정의 검정력을 향상시킬 수 있는가?
• RQ2 딥러닝 기반 이중표본 검정은 일치성과 함께 타입-1 오류 제어를 유지하는가?
• RQ3 MMD나 분류기 기반 이중표본 검정과 같은 최신 기법들과 비교해 본다면, 제안된 방법은 타입-2 오류 감소 측면에서 어떻게 성능을 내는가?
• RQ4 통계적 강건성 유지 조건에서 선형시간 계산을 달성할 수 있는가?
• RQ5 모델의 초모수, 전이학습 선택, 또는 근사적 훈련에 대해 이 방법은 얼마나 민감한가?

주요 결과

• 제안된 딥 이중표본 검정은 오디오, 이미지, 뇌영상 데이터에서 최신 기법들에 비해 타입-2 오류를 최대 35%포인트 감소시킨다.
• 이 방법은 점근적으로 타입-1 오류 비율을 제어하여 귀무가설 하에서 타당한 통계적 추론을 보장한다.
• 검정은 일치성을 보이며, 표본 크기가 증가함에 따라 타입-2 오류 비율이 점차 0으로 수렴한다.
• 검정 통계량은 선형 시간 내에 계산 가능하므로 대규모 데이터셋에 대해 확장성이 있다.
• 3D MRI 스캔과 얼굴 표정 데이터를 포함한 다양한 데이터 모odal리티에서 커널 기반 MMD와 분류기 기반 이중표본 검정 모두를 능가하는 성능을 보였다.
• 전이학습과 근사적 훈련에 대한 강건성을 입증하여, 사전 훈련된 모델을 활용한 실용적 구현 가능성을 뒷받침한다.