[논문 리뷰] Le cam theory on the comparison of statistical models

Ester Mariucci|arXiv (Cornell University)|2016. 05. 11.

Mathematical and Theoretical Analysis참고 문헌 1인용 수 11

한 줄 요약

이 논문은 르캄 거리와 결함 경계를 통한 통계 모델 비교를 위한 르캄 이론에 대한 종합적인 개요를 제시하며, 비모수 밀도 추정 모델과 가우시안 화이트 노이즈 모델 간의 점근적 동치성에 초점을 맞춘다. 적절한 조건 하에서 이 모델들 간의 결함 거리가 $ O(n^{-\frac{\nu}{2(\nu+2)}} \log n) $ 의 속도로 수렴함을 보이며, 이는 $ 0 < \nu \leq \frac{1}{2} $ 인 경우이며, $ \frac{1}{2} < \nu \leq 1 $ 인 경우는 $ O(n^{-\frac{1}{10}} \log n) $ 의 속도로 수렴한다. 이는 이항 해상도 $ m = n^{1/(2+\nu)} $ 를 선택할 때 성립한다.

ABSTRACT

We recall the main concepts of the Le Cam theory of statistical experiments , especially the notion of Le Cam distance and its properties. We also review classical tools for bounding such a distance before presenting some examples. A proof of the classical equivalence result between density estimation problems and Gaussian white noise models will be analyzed.

연구 동기 및 목표

• 수학적 통계 및 비모수 추론 분야의 연구자들을 대상으로 르캄의 통계 실험 이론에 대한 자립적이고 접근 가능한 소개를 제공하는 것.
• 특히 비점근적 및 점근적 영역에서 르캄 거리와 결함의 통계 모델 비교에서의 역할을 명확히 하는 것.
• 구성적 근사 기법을 사용하여 비모수 밀도 추정 모델과 가우시안 화이트 노이즈 모델 간의 점근적 동치성을 보여주는 것.
• 홀더-스무쓰한 밀도 클래스에 대해 르캄 거리의 정확한 수렴 속도를 유도하는 것, 매개변수 $ \gamma, K, \varepsilon, M $ 를 포함하여.

제안 방법

• 통계적 결정 위험의 최소 손실을 측정하는 데 사용되는 르캄 거리 $ \delta(\mathscr{P}_1, \mathscr{P}_2) $ 는 $ \mathscr{P}_1 $ 이 $ \mathscr{P}_2 $ 에 대해 갖는 결함의 하한으로 정의된다.
• 총변동 거리와 삼각 부등식, 쌍대화 기법을 사용하여 확률 측도 간의 거리를 이용해 르캄 거리를 경계한다.
• 이항 해상도 $ m $ 을 사용하여 i.i.d. 밀도 모델 $ \mathscr{P}_{1,n} $ 에 대해 다항분포 근사 $ \mathcal{M}(n; \theta_1, \dots, \theta_m) $ 를 구성함으로써 밀도 추정 문제를 이산화한다.
• 독립 증분을 갖는 가우시안 과정을 사용하여 다항분포 모델에 대한 가우시안 근사를 적용하며, 제어 가능한 오차 항 $ \frac{m \ln m}{\sqrt{n}} $ 을 도입한다.
• 측도 변화 기법과 $ \sqrt{f} $ 의 타일러 전개를 통해 가우시안 근사와 가우시안 화이트 노이즈 모델 $ \mathscr{P}_{2,n} $ 간의 점근적 동치성을 확립한다.
• 근사 오차를 균형 잡기 위해 이항 해상도 $ m $ 을 최적화하여 $ m = n^{1/(2+\gamma)} $ 로 선택하고, 르캄 거리의 최종 수렴 속도를 도출한다.

실험 결과

연구 질문

• RQ1 밀도 추정 모델이 어떤 조건에서 르캄의 의미에서 가우시안 화이트 노이즈 모델과 점근적으로 동치가 되는가?
• RQ2 비모수 밀도 모델과 가우시안 화이트 노이즈 모델 간의 르캄 거리의 최적 수렴 속도는 무엇인가?
• RQ3 이항 해상도 $ m $ 의 선택은 밀도 추정에서 가우시안 근사로의 전이 과정에서의 근사 오차에 어떤 영향을 미치는가?
• RQ4 매개변수 $ \gamma $ 는 르캄 거리의 수렴 속도를 결정하는 데 어떤 역할을 하는가?
• RQ5 모든 유계 손실 함수에 대해 두 모델 간의 결함이 균일하게 경계될 수 있는가? 이는 통계적 결정 위험과 어떻게 관련되는가?

주요 결과

• 밀도 추정 모델 $ \mathscr{P}_{1,n} $ 과 가우시안 화이트 노이즈 모델 $ \mathscr{P}_{2,n} $ 간의 르캄 거리는 $ 0 < \gamma \leq \frac{1}{2} $ 인 경우 $ O\big{(}n^{-\frac{\gamma}{2(\gamma+2)}} \log n\big{)} $ 로 경계된다.
• $ \frac{1}{2} < \gamma \leq 1 $ 인 경우, 르캄 거리는 $ O\big{(}n^{-\frac{1}{10}} \log n\big{)} $ 의 속도로 수렴하며, 이는 더 스무쓰한 경우보다 느린 수렴 속도를 나타낸다.
• 이항 해상도의 최적 선택은 $ m = n^{1/(2+\gamma)} $ 로, 다항분포 근사 오차와 가우시안 근사 오차를 균형 잡는다.
• 다항분포 모델과 가우시안 화이트 노이즈 모델 간의 결함은 $ O\big{(}\sqrt{n}(m^{-3/2} + m^{-1-\gamma})\big{)} $ 로 표현되며, 이는 총 수렴 속도를 결정한다.
• $ \sqrt{f} $ 의 타일러 전개에서 발생하는 근사 오차는 $ f $ 의 홀더 연속성에 의해 제어되며, 내부 간격에서는 나머지 항이 $ O(m^{-1-\gamma}) $ 로 경계되고, 경계 간격에서는 $ O(m^{-3/2}) $ 로 경계된다.
• 구성된 가우시안 과정 $ y_t^* $ 와 진짜 가우시안 과정 $ y_t $ 간의 총변동 거리는 $ \sqrt{4n \int_0^1 (\widehat{\sqrt{f}}_m(y) - \sqrt{f}(y))^2 dy} $ 로 경계되며, 이는 르캄 거리와 같은 주기를 가진다.