[논문 리뷰] Estimating the conditional density by histogram type estimators and model selection

Mathieu Sart|arXiv (Cornell University)|2015. 12. 22.

Statistical Methods and Inference참고 문헌 32인용 수 5

한 줄 요약

이 논문은 조건부 밀도를 히스토그램 유형 추정기로 추정하기 위한 데이터 기반 모델 선택 절차를 제안하며, 알려지지 않은 변량 밀도의 행동을 고려한 결정론적 헬링거 거리 기반의 벌점 기준을 최소화한다. 주요 기여는 이질적이고 이방향인 베소프 공간 위에서 최소한의 가정 하에 최적 수렴 속도를 확보하는 비점근적 오라클 부등식을 제공하는 것이다.

ABSTRACT

We propose a new estimation procedure of the conditional density for independent and identically distributed data. Our procedure aims at using the data to select a function among arbitrary (at most countable) collections of candidates. By using a deterministic Hellinger distance as loss, we prove that the selected function satisfies a non-asymptotic oracle type inequality under minimal assumptions on the statistical setting. We derive an adaptive piecewise constant estimator on a random partition that achieves the expected rate of convergence over (possibly inhomogeneous and anisotropic) Besov spaces of small regularity. Moreover, we show that this oracle inequality may lead to a general model selection theorem under very mild assumptions on the statistical setting. This theorem guarantees the existence of estimators possessing nice statistical properties under various assumptions on the conditional density (such as smoothness or structural ones).

연구 동기 및 목표

• 목표 밀도의 알려지지 않은 매끄러움도 및 구조에 적응하는 데이터 기반 모델 선택 절차를 개발한다.
• 기존 방법에서 흔히 요구되는 변량 밀도 $ f_X $ 의 하한이 필요한 한계를 극복한다.
• 알려지지 않은 변량 밀도를 가중 측도를 통해 포함하는 결정론적 헬링거 손실에 대한 비점근적 오라클 부등식을 수립한다.
• 낮은 정규성 조건이 적용되는 (가능성 있는 이질적이고 이방향인) 베소프 공간 위에서 적응적 추정 속도를 도출한다.
• 약한 가정 하에 일반적인 모델 선택 정리가 성립하도록 하여 최적의 통계적 성질을 갖는 추정기의 구축을 가능하게 한다.

제안 방법

• 알려지지 않은 변량 밀도 $ f_X $ 를 고려한 결정론적 헬링거 거리 $ h^2(f,g) = \frac{1}{2}\int_A (\sqrt{f}-\sqrt{g})^2 f_X(x)\,d\nu(x)\,d\mu(y) $ 를 기반으로 한 벌점 기준을 사용한다.
• Baraud (2011), Sart (2014), 그리고 Baraud 등 (2016) 의 영향을 받은 데이터 기반의 벌점 항을 적용하며, 이는 알려지지 않은 손실 구조에 맞게 조정된다.
• 유한한 가산 함수 집합에서 유도된 후보 추정기 집합을 고려하며, 이는 랜덤 분할 위의 조각별 상수 함수를 포함한다.
• 데이터를 $ A \to [0,1]^l $ 으로 사상하는 함수 $ u = (u_1, \dots, u_l) $ 를 통한 변환을 사용하여 조건부 밀도의 구조를 영리하게 모델링한다.
• 복잡도 벌점 항인 $ \Delta_{\mathbb{F}}(F) $ 와 $ \dim F $ 를 포함한 모델 선택 프레임워크를 활용하여 과적합을 통제한다.
• 홀더 공간 및 슈퍼노름 공간에서의 근사 오차 bound와 경험 과정에 대한 농도 부등식을 조합하여 비점근적 오라클 부등식을 유도한다.

실험 결과

연구 질문

• RQ1 변량 밀도에 하한이 필요로 하지 않는 조건부 밀도 추정을 위한 모델 선택 절차를 설계할 수 있는가? 이는 알려지지 않은 매끄러움도 및 구조에 적응할 수 있어야 한다.
• RQ2 낮은 정규성 조건이 적용되는 이질적이고 이방향인 베소프 공간 위에서 히스토그램 유형 추정기의 최적 수렴 속도는 무엇인가?
• RQ3 알려지지 않은 변량 밀도에 의존하는 결정론적 헬링거 손실에 대해 오라클 부등식을 확보할 수 있도록 데이터 기반의 벌점 항을 어떻게 구성할 수 있는가?
• RQ4 조건부 밀도 추정에서 최적의 통계적 성질을 갖는 일반적인 모델 선택 정리가 성립하는 최소한의 가정은 무엇인가?
• RQ5 제안된 방법이 비대칭적이고 이방향적인 매끄러움 클래스를 포함한 광범위한 함수 공간 위에서 적응적 추정을 달성할 수 있는가?

주요 결과

• 선택된 추정기는 최소한의 가정 하에 비점근적 오라클 부등식을 만족하며, 집합 내 최고의 후보에 대해 최적의 성능을 보장한다.
• 조금만 매끄럽고 $ f_X $ 가 0이 되는 경우에도 (가능한 이질적이고 이방향인) 베소프 공간 위에서 기대 수렴 속도를 달성한다.
• 오라클 부등식은 매우 약한 가정 하에 적용 가능한 일반적인 모델 선택 정리로 이어지며, 다양한 구조적 및 매끄러움 제약 조건에 걸쳐 적응적 추정이 가능하게 한다.
• 랜덤 분할 위의 조각별 상수 추정기를 구성하여 고려된 베소프 클래스 위에서 최적 수렴 속도를 달성한다.
• 벌점 항은 알려지지 않은 변량 밀도 행동을 처리하도록 명시적으로 설계되어 있으며, $ f_X $ 의 하한이 필요로 하지 않아 이는 이전 연구에 비해 핵심적인 개선이다.
• 수렴 속도가 최소화 이론의 관점에서 최적임을 입증하였으며, 매끄러움 매개변수 $ \alpha_j $, 차원 $ d_2 $, 및 표본 크기 $ n $ 에 대한 명시적 의존성을 보이며, 속도 $ \left(\frac{\log n}{n}\right)^{\frac{2\bar{\alpha}}{2\bar{\alpha}+1+d_2}} $ 를 달성한다.