[논문 리뷰] Estimating Certain Integral Probability Metric (IPM) is as Hard as Estimating under the IPM

Tengyuan Liang|arXiv (Cornell University)|2019. 11. 02.

Statistical Methods and Inference참고 문헌 26인용 수 11

한 줄 요약

이 논문은 두 확률 측도 사이의 적분 확률 거리(IPM)를 추정하는 것은 IPM 하에서 측도 자체를 추정하는 것과 본질적으로 같은 어려움을 가진다는 것을 입증한다. 헬더-스무쓰한 밀도와 함수 클래스에 대해, IPM 추정의 최소최대 최적 속도는 측도 추정의 속도와 상수 인자(로그 인자)를 제외하고 곱적으로 동일하며, 이는 플러그인 추정기가 이 인자까지 최소최대 최적임을 의미한다.

ABSTRACT

We study the minimax optimal rates for estimating a range of Integral Probability Metrics (IPMs) between two unknown probability measures, based on $n$ independent samples from them. Curiously, we show that estimating the IPM itself between probability measures, is not significantly easier than estimating the probability measures under the IPM. We prove that the minimax optimal rates for these two problems are multiplicatively equivalent, up to a $\log \log (n)/\log (n)$ factor.

연구 동기 및 목표

• 독립 identical 분포를 가진 표본들로부터 두 알려지지 않은 확률 측도 사이의 적분 확률 거리(IPM)를 추정하는 데 있어 최소최대 최적 속도를 결정하는 것.
• IPM 자체를 추정하는 것이 IPM 하에서 기저가 되는 확률 측도를 추정하는 것보다 상당히 쉬운가를 조사하는 것.
• 먼저 측도를 추정하고 나서 IPM을 계산하는 플러그인 추정기의 최적성 평가.
• 밀도와 함수 클래스에 대해 헬더 스무쓰함 조건을 가정할 때 IPM 추정에 대해 엄밀한 최소최대 하한 및 상한을 수립하는 것.
• IPM 추정의 복잡성과 기저가 되는 확률 측도 및 IPM 생성 함수의 스무쓰함 사이의 관계를 명확히 하는 것.

제안 방법

• 논문은 다음의 최대형으로 표현된 IPM의 최소최대 위험을 분석한다: $ d_{\mathcal{F}}(\mu,\nu) = \sup_{f \in \mathcal{F}} \left| \int f d\mu - \int f d\nu \right| $, 여기서 $ \mathcal{F} $ 는 스무쓰함이 $ \gamma < d/2 $ 인 헬더 클래스 $ \mathcal{F}_{\gamma} $ 이다.
• 이중성 원리를 통해 IPM을 총변동 거리와 연결함으로써, 두 측도 사이의 테스팅 문제를 구성함으로써 IPM 추정에 대한 최소최대 하한을 도출한다.
• 상한은 웨이브릿 기반 스무쓰한 경험 측도를 사용하는 플러그인 추정기를 통해 확립되며, 밀도는 수준 $ J $ 에서 잘라내기된 웨이브릿 기저에서 추정되고, IPM는 함수 클래스 위에서 기대값 차이의 Supremum으로 계산된다.
• 오차는 경험 측도에서 온 추정 오차와 잘라내기에서 온 근사 오차로 분해되며, 양측 모두 웨이브릿 계수의 감쇠성과 모멘트 부등식을 통해 유계화된다.
• 두 오차 항을 균형 잡기 위해 최적의 잘라내기 수준 $ 2^{dJ} \asymp n^{1/(2\beta/d + 1)} $ 가 선택되며, 이에 따라 속도는 $ (n \wedge m)^{-(\beta + \gamma)/(2\beta + d)} $ 가 된다.
• 분석은 베존 공간 $ \mathsf{B}^{\gamma,\infty}_{\infty} $ 와 헬더 공간 $ \mathsf{C}^{\beta} $ 의 성질을 활용하며, 스무쓰함 매개수 $ \beta $ 와 $ \gamma $ 에 기반한 웨이브릿 계수의 유계화를 제공한다.

실험 결과

연구 질문

• RQ1 두 확률 측도 사이의 IPM을 추정하는 것은 IPM 하에서 측도 자체를 추정하는 것보다 상당히 쉬운가?
• RQ2 기저 밀도가 헬더 공간 $ \mathcal{G}_{\beta} $ 에 있고 IPM이 헬더 클래스 $ \mathcal{F}_{\gamma} $ 에 의해 유도될 때, IPM 추정의 최소최대 최적 속도는 무엇인가?
• RQ3 플러그인 추정기 이외의 추정기는 IPM 추정에서 더 빠른 속도를 달성할 수 있는가?
• RQ4 함수 클래스 $ \mathcal{F}_{\gamma} $ 와 밀도 클래스 $ \mathcal{G}_{\beta} $ 의 스무쓰함이 IPM 추정의 최소최대 속도에 어떤 영향을 미치는가?
• RQ5 IPM 하에서 IPM 추정과 측도 추정의 최소최대 속도 사이의 정확한 곱 인자 격차는 무엇인가?

주요 결과

• IPM $ d_{\mathcal{F}_{\gamma}}(\mu, \nu) $ 의 최소최대 최적 속도는 $ (n \wedge m)^{-(\beta + \gamma)/(2\beta + d)} $ 이며, IPM 하에서 측도를 추정하는 것과 로그 인자 외에는 동일한 속도를 가지며, 이는 플러그인 추정기가 이 인자까지 최소최대 최적임을 의미한다.
• IPM 추정의 최소최대 하한은 $ \asymp (n \wedge m)^{-(\beta + \gamma)/(2\beta + d)} \cdot \frac{\log\log(n \wedge m)}{\log(n \wedge m)} $ 이며, 이는 문제의 어려움이 측도 추정과 상당히 다를 바가 없음을 보여준다.
• 웨이브릿 스무쓰한 경험 측도를 사용하는 플러그인 추정기는 상한 $ (n \wedge m)^{-(\beta + \gamma)/(2\beta + d)} $ 를 달성하며, 이는 플러그인 추정기의 최소최대 최적성(로그 로그 인자 외)을 증명한다.
• 만약 $ \gamma \geq d/2 $ 이면, 파arametric 속도 $ n^{-1/2} $ 가 달성 가능하며, 이는 추정의 어려움에 대한 단계 전이를 나타낸다.
• 이 결과는 $ \gamma < d/2 $ 일 때, 복잡한 함수 클래스를 가질지라도 플러그인 접근 방식보다 더 빠른 속도를 달성할 수 있는 추정기는 존재하지 않으며, 로그 인자 외에는 불가능하다는 것을 의미한다.
• 밀도와 함수 클래스가 스무쓰할 경우, IPM 추정과 측도 추정의 어려움이 동일한 것은 넓은 범위의 조건에서 성립하며, 이는 기본적인 통계적 한계를 드러낸다.