[논문 리뷰] Robust Multivariate Nonparametric Tests via Projection-Averaging

Ilmun Kim, Sivaraman Balakrishnan외 1명|arXiv (Cornell University)|2018. 03. 02.

Advanced Statistical Methods and Models참고 문헌 61인용 수 8

한 줄 요약

이 논문은 Cramér-von Mises 통계량의 투영 평균화를 기반으로 한 강건하고 튜닝 파rameter가 없는 다변량 두 표본 검정을 제안한다. 이 방법은 모든 고정 대안에 대해 일致하며, 두꺼운 尾를 가진 분포에서 최적의 성능을 발휘한다. 방법은 유클리드 거리의 강건한 대체로 각도 기반 거리를 사용하며, 위치 이동 모델 하에서 평균 기반 검정과 유사한 고차원에서의 검정력을 확보한다. permutation 검정을 통해 이론적 보장이 이루어진다.

ABSTRACT

In this work, we generalize the Cramér-von Mises statistic via projection-averaging to obtain a robust test for the multivariate two-sample problem. The proposed test is consistent against all fixed alternatives, robust to heavy-tailed data and minimax rate optimal against a certain class of alternatives. Our test statistic is completely free of tuning parameters and is computationally efficient even in high dimensions. When the dimension tends to infinity, the proposed test is shown to have comparable power to the existing high-dimensional mean tests under certain location models. As a by-product of our approach, we introduce a new metric called the angular distance which can be thought of as a robust alternative to the Euclidean distance. Using the angular distance, we connect the proposed method to the reproducing kernel Hilbert space approach. In addition to the Cramér-von Mises statistic, we demonstrate that the projection-averaging technique can be used to define robust, multivariate tests in many other problems.

연구 동기 및 목표

• 모든 고정 대안에 대해 일치하는 강건한 비모수적 다변량 두 표본 검정을 개발하는 것.
• 기존 에너지 기반 검정에서 흔히 볼 수 있는 튜닝 파rameter와 모멘트 가정에 의존하지 않도록 하는 것.
• 모든 방향에 대한 투영 평균화를 통해 단변량 Cramér-von Mises 통계량을 고차원으로 확장하는 것.
• 고차원 대칭적 표본 크기(HDLSS) 설정 하에서 최소 최대 최적성과 점근 정규성을 포함한 이론적 성질을 확립하는 것.
• 다변량 검정에서 유클리드 거리의 대체로 각도 기반 거리를 제안하는 것.

제안 방법

• 투영 평균화를 통한 다변량 Cramér-von Mises 거리 제안: $ W_d^2(P_X,P_Y) = \int_{\mathbb{S}^{d-1}} \int_{\mathbb{R}} (F_{\beta^\top X}(t) - F_{\beta^\top Y}(t))^2 dH_\beta(t) d\lambda(\beta) $.
• 튜닝 파ram터 없이 $ W_d^2 $ 의 비편향 추정량을 사용하여 고차원에서의 계산 효율성을 확보한다.
• 귀무가설 하에서 타입 I 오류를 정확히 제어하기 위해 permutation 검정을 통해 임계값을 결정한다.
• 벡터 간의 각도를 통해 정의된 각도 기반 거리를 유클리드 거리의 강건한 대체로 도입한다.
• 각도 기반 거리를 커널로 사용하여 재생 핵 힐베르트 공간(RKHS) 프레임워크와 연결한다.
• 검정 통계량이 정규직교 변환에 대해 불변이며, $ P_X = P_Y $ 이면 반드시 0이 되는 특성을 만족함을 보여준다.

실험 결과

연구 질문

• RQ1 Cramér-von Mises 통계량은 강건성과 일치성을 유지하면서 다변량 설정으로 일반화될 수 있는가?
• RQ2 고차원 두 표본 검정에서 높은 검정력을 유지하면서 튜닝 파ram터를 피할 수 있는 방법이 있는가?
• RQ3 에너지 기반 검정과 비교해 복잡한 분포나 오염된 분포 하에서 제안된 검정의 성능은 어떠한가?
• RQ4 고차원, 저표본 크기(HDLSS) 설정 하에서 검정의 점근적 행동은 어떠한가?
• RQ5 투영 평균화는 다른 다변량 비모수적 문제에서 강건하고 최소 최대 최적의 검정을 구성하는 데 사용될 수 있는가?

주요 결과

• 제안된 검정은 모든 고정 대안에 대해 일치하며, 모멘트가 정의되지 않을 경우 에너지 기반 검정보다 우수한 강건성을 보인다.
• HDLSS 설정 하에서 위치 이동 모델 하에서 고차원 평균 검정과 유사한 검정력을 확보하였으며, 점근 정규성을 입증하였다.
• 강하게 종속된 두꺼운 尾를 가진 다변량 t-분포에서 $ \upsilon \leq 7 $ 일 때 높은 검정력을 유지하였으며, 에너지 및 MMD 검정보다 뛰어난 성능을 보였다.
• Cramér-von Mises 통계량의 투영 평균화를 통한 검정(CvM-Proj)은 $ \upsilon \leq 7 $ 일 때 에너지 및 MMD 검정보다 뛰어난 성능을 보였으며, $ \upsilon=7 $ 에서 검정력이 0.880 에 도달하였다.
• 각도 기반 거리 메트릭은 유클리드 거리의 강건한 대체로 기능하며, RKHS 프레임워크와의 연결을 가능하게 하였다.
• permutation 기반 임계값 절차는 타입 I 오류를 정확히 제어하며, 일반적인 모멘트 조건과 고차원 점근 이론 하에서 이론적 성질이 입증되었다.