[논문 리뷰] Aggregated test of independence based on HSIC measures

Anouar Meynaoui, Béatrice Laurent외 2명|arXiv (Cornell University)|2019. 02. 15.

Random Matrices and Applications참고 문헌 36인용 수 4

한 줄 요약

이 논문은 다수의 가우시안 커널을 사용하는 가중치를 적응적으로 선택함으로써 수동 커널 선택이 필요 없도록 하는, 무작위 벡터 간의 통계적 인과성에 대한 집계된 HSIC 기반의 검정을 제안한다. 이 방법은 소보레프 구역에서 최소 최대 최적성을 달성하며, 이론적 경계를 통해 비점점적 분리율이 정밀하게 증명되고 수치적 연구를 통해 검증된다.

ABSTRACT

Dependence measures based on reproducing kernel Hilbert spaces, also known as Hilbert-Schmidt Independence Criterion and denoted HSIC, are widely used to statistically decide whether or not two random vectors are dependent. Recently, non-parametric HSIC-based statistical tests of independence have been performed. However, these tests lead to the question of the choice of the kernels associated to the HSIC. In particular, there is as yet no method to objectively select specific kernels with theoretical guarantees in terms of first and second kind errors. One of the main contributions of this work is to develop a new HSIC-based aggregated procedure which avoids such a kernel choice, and to provide theoretical guarantees for this procedure. To achieve this, we first introduce non-asymptotic single tests based on Gaussian kernels with a given bandwidth, which are of prescribed level $\\alpha \\in (0,1)$. From a theoretical point of view, we upper-bound their uniform separation rate of testing over Sobolev and Nikol'skii balls. Then, we aggregate several single tests, and obtain similar upper-bounds for the uniform separation rate of the aggregated procedure over the same regularity spaces. Another main contribution is that we provide a lower-bound for the non-asymptotic minimax separation rate of testing over Sobolev balls, and deduce that the aggregated procedure is adaptive in the minimax sense over such regularity spaces. Finally, from a practical point of view, we perform numerical studies in order to assess the efficiency of our aggregated procedure and compare it to existing independence tests in the literature.

연구 동기 및 목표

• HSIC 기반 방법에서 어려운 커널 대역폭 선택을 피하면서도 점점점적이지 않은, 적응형 인과성 검정을 개발하는 것.
• 집계된 절차에 대한 이론적 보장을 확립하는 것, 특히 소보레프 구역에서 균일 분리율에 대한 날카운 상한을 포함하여.
• 동일한 소보레프 정규성 공간에서 비점점적 최소 최대 분리율에 대한 하한을 유도하여, 집계된 검정이 소보레프 공간에서 최소 최대 적응성을 갖는다는 것을 증명하는 것.
• 기존의 HSIC 기반 및 비-HSIC 인과성 검정과의 비교를 통해 집계된 검정의 실용적 성능을 평가하는 것.

제안 방법

• 고정된 대역폭을 가진 가우시안 커널을 사용하여 단일 HSIC 검정을 구성하며, 각 검정은 사전 지정된 수준 α에서 제1종 오류를 통제한다.
• 다양한 대역폭 범위에 걸쳐 여러 단일 검정을 데이터 기반 조합 규칙를 통해 집계하여 안정성과 적응성을 향상시킨다.
• 집계된 검정 통계량의 귀무분포를 근사하기 위해 순열 방법을 사용하여 유효한 크기 통제를 확보한다.
• 소보레프 구역(부드러움 δ)에서 집계된 절차의 균일 분리율에 대한 비점점적 상한을 도출한다.
• 동일한 소보레프 클래스에서 비점점적 최소 최대 분리율에 대한 하한을 확립하여, 집계된 절차가 소보레프 공간에서 최소 최대 의미에서 최적임을 증명한다.
• U-통계량의 농도 부등식과 모멘트 경계를 사용하여 귀무하나에서 제곱 검정 통계량의 기대값을 통제한다.

실험 결과

연구 질문

• RQ1 알 수 없는 의존성의 부드러움에 적응하면서도 수동 대역폭 선택이 필요 없도록, 집계된 HSIC 검정을 구성할 수 있는가?
• RQ2 부드러움 δ에 대한 소보레프 구역에서 집계된 HSIC 검정의 비점점적 균일 분리율은 무엇인가?
• RQ3 제안된 집계된 검정은 소보레프 구역에서 비점점적 의미에서 최소 최대 최적인가?
• RQ4 유한 표본에서 집계된 검정의 성능은 기존의 HSIC 기반 및 비-HSIC 인과성 검정과 비교해 볼 때 어떻게 되는가?
• RQ5 모멘트 방법과 U-통계량 이론을 사용하여 분리율에 대한 이론적 보장을 확립할 수 있는가?

주요 결과

• 집계된 HSIC 검정은 소보레프 구역에서 비점점적 최소 최대 비율과 상수 인자까지 일치하는 균일 분리율을 달성하며, 이는 최소 최대 적응성을 증명한다.
• 균일 분리율에 대한 상한은 부드러움 δ와 차원 (p,q)에 대해 n^{-(2δ+p+q)/(4δ+2p+2q)}의 주기수를 가지며, 알려진 최소 최대 비율과 일치한다.
• 최소 최대 분리율에 대한 하한이 도출되었으며, 이는 집계된 절차가 소보레프 구역에서 최소 최대 의미에서 최적임을 확인한다.
• 이론적 분석을 통해 귀무하나에서 제곱 검정 통계량의 기대값이 균일하게 유계임을 보여주며, 이는 안정성과 크기 통제를 보장한다.
• 수치적 연구를 통해 집계된 검정이 고정 대역폭을 가진 표준 HSIC 검정과 다른 최신 기술의 인과성 검정보다 다양한 상황에서 뛰어난 성능을 보였다.
• 이 방법은 다양한 부드러움 수준과 차원에서 강건하며, 대역폭 선택 이외의 튜닝이 필요 없으며, 집계를 통해 자동화된다.