[논문 리뷰] Local bandwidth selection for kernel density estimation in bifurcating Markov chain model

S. Valère Bitseki Penda, Angelina Roche|arXiv (Cornell University)|2017. 06. 21.

Markov Chains and Monte Carlo Methods참고 문헌 23인용 수 4

한 줄 요약

이 논문은 다차원 분기 마르코프 체인(BMCs)에서 커널 밀도 추정을 위한 데이터 기반 局소 대역폭 선택 방법을 제안한다. 이는 독립적인 나무 구조를 가진 데이터에 대해 Goldenshuger-Lepski 방법론을 적응적으로 적용하며, BMC 기능에 대한 버진스타인 유형의 부등식을 수립하고, 데이터 기반의 펜alty 보정을 도입함으로써 약한 의존성 조건 하에서 최소최대 최적 수렴 속도를 달성한다. 이는 이론적 보장과 고차원 설정에서의 수치적 검증을 포함한다.

ABSTRACT

We propose an adaptive estimator for the stationary distribution of a bifurcating Markov Chain on $\mathbb R^d$. Bifurcating Markov chains (BMC for short) are a class of stochastic processes indexed by regular binary trees. A kernel estimator is proposed whose bandwidth is selected by a method inspired by the works of Goldenshluger and Lepski [18]. Drawing inspiration from dimension jump methods for model selection, we also provide an algorithm to select the best constant in the penalty.

연구 동기 및 목표

• 다차원 설정에서 분기 마르코프 체인(BMCs)에 대한 비모수적 커널 밀도 추정에서 데이터 기반 대역폭 선택의 부족을 해결하기 위해.
• 표준 독립 동일분포(i.i.d.) 데이터에 대한 농도 불등식이 적용되지 않는 나무 구조의 의존성으로 인해, Goldenshuger-Lepski 방법을 BMCs에 확장하기 위해.
• 커널과 콘볼루션을 포함하는 BMC 기능에 대한 새로운 버진스타인 유형의 부등식을 개발하여, 표본 크기와 무관하게 모든 양의 편차 매개변수에 대해 유효하게 하기 위해.
• Goldenshuger-Lepski 기준의 분산 항이 알려지지 않은 밀도에 의존한다는 문제를 해결하기 위해, 펜alty 상수의 데이터 기반 보정을 제안하기 위해.
• 선택된 추정기의 위험에 대한 이론적 보장을 제공하며, 불변 밀도에 대한 규칙성 조건 하에서 최소최대 최적 수렴 속도를 확보하기 위해.

제안 방법

• 표본의 편향-분산 균형을 최소화하는 대역폭 선택자 $\widehat{h} = \arg\min_{h \in \mathcal{H}} \{ \widehat{A}(h) + bV(h) \}$를 정의함으로써 Goldenshuger-Lepski 방법을 BMCs에 적응적으로 적용한다. 여기서 $\widehat{A}(h)$는 편향을 추정하고, $V(h)$는 분산의 대체 측정치이다.
• 이진 트리에서 발생하는 커널 기능에 기반한 의존 확률 변수 합에 대한 새로운 버진스타인 유형의 농도 부등식을 유도하며, 이는 모든 양의 편차 매개변수에 대해 유효하고 표본 크기와 무관하다.
• 펜alty 상수 $b$를 알려지지 않은 밀도에 의존하는 $V(h)$를 보완하기 위해 Arlot과 Massart(2009)의 알고리즘을 영감으로 삼아, 데이터로부터 자동으로 보정하는 수정된 선택 규칙을 도입한다.
• 지역적 특성에 따라 밀도의 국소적 매끄러움에 적응하는 국소 기준을 사용하여, 전역 대역폭 선택이 아닌 국소적 위험 통제를 가능하게 한다.
• asymptotic 일致성을 확보하기 위해 $|h| \geq \log(|\mathbb{T}_n|)/|\mathbb{T}_n|$ 를 만족하는 대역폭 집합 $\mathcal{H}_n$ 을 사용한다.
• 커널과 불변 밀도 $\nu$에 대한 규칙성 조건 하에서, 결과 추정기가 최소최대 최적 수렴 속도를 달성함을 증명한다.

실험 결과

연구 질문

• RQ1 의존성과 나무 구조를 가진 다차원 분기 마르코프 체인에서 커널 밀도 추정을 위한 데이터 기반 대역폭 선택 규칙을 개발할 수 있는가?
• RQ2 표준 농도 부등식이 적용되지 않는 의존성 데이터 구조인 BMCs에 대해 Goldenshuger-Lepski 방법을 어떻게 적응적으로 확장할 수 있는가?
• RQ3 커널과 콘볼루션을 포함하는 BMC 기능에 대해 유효한 버진스타인 유형의 부등식은 무엇이며, 이를 통해 경험 평균이 기대값에서 벗어나지 않는 정도를 어떻게 통제할 수 있는가?
• RQ4 펜alty 항이 알려지지 않은 밀도에 의존할 경우, Goldenshuger-Lepski 규칙의 펜alty 항을 어떻게 보정할 수 있으며, 어떤 데이터 기반 알고리즘이 최적 성능을 보장하는가?
• RQ5 결과 추정기의 이론적 위험 경계는 무엇이며, 규칙성 밀도 클래스에 대해 $\mathbb{L}_s$-위험에서 최소최대 최적성을 달성하는가?

주요 결과

• 모든 양의 편차 매개변수에 대해 유효하고 표본 크기와 무관하게 적용 가능한 분기 마르코프 체인 기능에 대한 새로운 버진스타인 유형의 부등식이 수립되었으며, 더 날카운 농도 통제가 가능해졌다.
• 커널과 불변 밀도에 대한 규칙성 조건 하에서, 제안된 대역폭 선택기는 $\mathbb{L}_s$-위험에서 최소최대 최적 수렴 속도를 달성한다.
• 데이터 기반 펜alty 보정 알고리즘이 알려지지 않은 밀도에 대한 사전 지식 없이도 최적의 편향-분산 균형을 달성하는 데 기여한다.
• 이론적 분석 결과, 대역폭 및 상수에 적절한 조건 하에서 경험 커널 평균이 기대값에서 벗어나지 않는 尾確率가 $O(|\mathbb{T}_n|^{-1})$ 으로 감소함을 보였다.
• 이 방법은 BMC의 의존성 구조에 대해 강건하며, 대역폭 집합 $\mathcal{H}_n$ 전반에 걸쳐 균일하게 적용 가능한 비점근적 위험 경계를 제공한다.
• 수치적 연구는 이론적 성능이 유한 표본에서도 효과적임을 확인하였으며, 특히 적응형 대역폭 선택이 필수적인 고차원 설정에서 뛰어난 성능을 보였다.