[논문 리뷰] Estimating composite functions by model selection

Yannick Baraud, Lucien Birgé|arXiv (Cornell University)|2011. 02. 14.

Statistical Methods and Inference참고 문헌 29인용 수 11

한 줄 요약

이 논문은 높은 차원 $ k $ 에서 $[-1,1]^k$ 에서 복합 함수 $ s = g \circ u $ 를 추정하기 위한 모델 선택 프레임워크를 제안한다. 적응형 리스크 경계를 활용하여 차원의 극복 문제를 피하며, $ g $ 와 $ u $ 에 대한 구조적 가정, 특히 이방향 스무스니스 클래스를 통해, $ s $ 의 정규성에 대한 사전 지식이 없이도 최소 최대 최적의 속도를 달성한다. 이는 덧셈 모델, 색인 모델, 신경망 등에의 응용을 가능하게 한다.

ABSTRACT

We consider the problem of estimating a function $s$ on $[-1,1]^{k}$ for large values of $k$ by looking for some best approximation by composite functions of the form $g\\circ u$. Our solution is based on model selection and leads to a very general approach to solve this problem with respect to many different types of functions $g,u$ and statistical frameworks. In particular, we handle the problems of approximating $s$ by additive functions, single and multiple index models, neural networks, mixtures of Gaussian densities (when $s$ is a density) among other examples. We also investigate the situation where $s=g\\circ u$ for functions $g$ and $u$ belonging to possibly anisotropic smoothness classes. In this case, our approach leads to a completely adaptive estimator with respect to the regularity of $s$.

연구 동기 및 목표

• 큰 $ k $ 에서 $[-1,1]^k$ 에서의 비모수적 함수 추정에서 차원의 극복 문제를 해결하기 위해, 목표 함수에 대한 구조적 가정을 활용한다.
• 복합 함수 $ s = g \circ u $ 의 스무스니스에 대한 사전 지식이 필요 없는 일반적이고 적응형 추정 프레임워크를 개발한다.
• 덧셈 모델, 단일/다중 색인 모델, 신경망에 대한 기존 방법들을 하나의 모델 선택 접근법으로 통합하고 확장한다.
• 이방향 헬더 또는 소볼레프 유형 스무스니스 클래스에 속하는 $ g $ 와 $ u $ 에 대해 $ s = g \circ u $ 의 최소 최대 최적 리스크 경계를 유도한다.
• 헬링거 리스크 기반으로 추정기 성능에 대한 이론적 보장을 확립하며, 스무스니스 매개변수와 차원 $ k $ 에 대한 명시적 의존성을 포함한다.

제안 방법

• 이 방법은 후보 모델 집합 $ S $ 에 대한 모델 선택을 사용하며, 각 $ S $ 는 복합 구조 $ g \circ u $ 를 나타내며, $ g $ 와 $ u $ 는 특정 스무스니스 클래스에 제약을 받는다.
• 모델의 차원 $ \mathcal{D}(S) $ 와 비례하는 복잡성 페널티를 갖는 페널티 기반 추정기를 도입하여, 경험 리스크와 함께 최적의 모델 $ S $ 를 선택한다.
• 사슬 추론과 오목 함수에 관한 핵심 보조정리를 통해 리스크 경계를 도출하며, $ \mathbb{E}_s[d^2(s,\widehat{s})] \leq C[\inf_{t \in S} d^2(s,t) + \tau \mathcal{D}(S)] $ 를 확보한다. 여기서 $ \tau = 1/n $ 은 밀도 추정에서의 값이다.
• 이방향 스무스니스의 경우, $ g \in \mathcal{H}^\alpha $, $ u \in \mathcal{H}^{\beta_i} $ 를 만족하며, 복합 함수 $ g \circ u $ 는 $ \theta = \phi(\alpha, \overline{\beta}) $ 의 스무스니스를 상속한다. 이때 $ \phi $ 는 최악의 경우 스무스니스를 캡처한다.
• 이 방법은 추정기가 리스크 경계를 $ \tau^{2\alpha / (2\alpha + k)} $ 의 순서로 달성함을 증명하며, 이는 $ k $ 에 대해 적응 가능하며 $ D \propto \tau^{-k/(2\alpha + k)} $ 가 필요 없기에 차원의 극복 문제를 피한다.
• 이 방법은 $ s $ 의 알려지지 않은 스무스니스에 대해 완전히 적응 가능함을 입증한다. 특히 $ s = g \circ u $ 이고 $ g \in \mathcal{H}^\alpha $, $ u \in \mathcal{H}^{\beta_i} $ 이며, $ \beta_i $ 가 좌표별로 다를 경우에도 마찬가지다.

실험 결과

연구 질문

• RQ1 고차원 영역 $[-1,1]^k$ 에서 복합 함수 $ s = g \circ u $ 의 추정을 위해, 고정된 스무스니스 클래스를 가정하지 않고도 적응형 추정이 가능한가?
• RQ2 목표 함수 $ s $ 에 대한 구조적 가정(예: 간단한 함수의 복합)을 활용하여 비모수적 추정에서 차원의 극복 문제를 피할 수 있는 추정기를 어떻게 구성할 수 있는가?
• RQ3 이방향 헬더 또는 소볼레프 유형 스무스니스 클래스에 속하는 $ g $ 와 $ u $ 에 대해 $ s = g \circ u $ 의 추정에 대해 최적 수렴 속도는 무엇인가?
• RQ4 제안된 방법이 덧셈 모델, 색인 모델, 신경망 등의 기존 접근법을 하나의 이론적 프레임워크로 통합하고 일반화할 수 있는가?
• RQ5 스무스니스 $ g $, $ u $ 와 복합 함수 $ g \circ u $ 의 스무스니스 간의 정확한 관계는 무엇이며, 이는 리스크 경계에 어떻게 영향을 미치는가?

주요 결과

• 제안된 추정기는 $ \tau^{2\alpha / (2\alpha + k)} $ 의 순서로 리스크 경계를 달성하며, 복합 함수 $ s = g \circ u $ 의 알려지지 않은 스무스니스 $ \alpha $ 에 대해 적응 가능하다. 이는 $ \alpha $ 의 사전 지식이 필요하지 않음을 의미한다.
• 이 방법은 차원의 극복 문제를 피한다. 모델의 효과적 차원이 $ k $ 와 함께 증가하지 않기 때문이다. 기존의 스무스니스 기반 접근법은 $ D \propto \tau^{-k/(2\alpha + k)} $ 가 필요하지만, 이는 피한다.
• 이방향 스무스니스 클래스의 경우, 방법은 최소 최대 최적 속도 $ \tau^{2\alpha / (2\alpha + k)} $ 를 달성한다. 이 지수는 구성 요소들 중 최악의 스무스니스에 따라 달라진다.
• 추정기는 완전히 적응 가능하다: $ s = g \circ u $ 이고 $ g \in \mathcal{H}^\alpha $, $ u \in \mathcal{H}^{\beta_i} $ 이며 $ \beta_i $ 가 좌표별로 다를 경우에도 $ s $ 의 알려지지 않은 정규성에 자동으로 적응한다.
• 이 방법은 덧셈 함수, 단일 및 다중 색인 모델, 가우시안 혼합 모델 등 다양한 모델에 적용 가능하며, 통합된 이론적 보장을 제공한다.
• 논문은 복합 함수 $ g \circ u $ 가 스무스니스 $ \theta = \phi(\alpha, \overline{\beta}) $ 를 상속함을 입증한다. 여기서 $ \phi $ 는 복합에 따른 정규성의 열화를 캡처하는 하위加성 함수이며, 이는 최종 리스크 경계 유도에 사용된다.