[논문 리뷰] Penalized Estimation in Additive Regression with High-Dimensional Data

Zhiqiang Tan, Cun‐Hui Zhang|arXiv (Cornell University)|2017. 04. 24.

Statistical Methods and Inference참고 문헌 7인용 수 4

한 줄 요약

이 논문은 고차원 가군 회귀에서 부드러움을 유도하기 위해 기능적 반노름을, 희박성을 유도하기 위해 경험적 $L_2$ 노름을 사용하는 정규화 추정 프레임워크를 개발한다. 서브가우시안 노이즈, 호환성 및 엔트로피 조건 하에서 새로운 오라클 부등식을 확립하며, 희박성 구조에 따라 느린 속도에서 빠른 속도까지의 명시적 수렴 속도를 제공한다. 이는 비모수적 가군 모델링 분야에서 기존 결과를 크게 일반화한다.

ABSTRACT

Additive regression provides an extension of linear regression by modeling the signal of a response as a sum of functions of covariates of relatively low complexity. We study penalized estimation in high-dimensional nonparametric additive regression where functional semi-norms are used to induce smoothness of component functions and the empirical $L_2$ norm is used to induce sparsity. The functional semi-norms can be of Sobolev or bounded variation types and are allowed to be different amongst individual component functions. We establish new oracle inequalities for the predictive performance of such methods under three simple technical conditions: a sub-gaussian condition on the noise, a compatibility condition on the design and the functional classes under consideration, and an entropy condition on the functional classes. For random designs, the sample compatibility condition can be replaced by its population version under an additional condition to ensure suitable convergence of empirical norms. In homogeneous settings where the complexities of the component functions are of the same order, our results provide a spectrum of explicit convergence rates, from the so-called slow rate without requiring the compatibility condition to the fast rate under the hard sparsity or certain $L_q$ sparsity to allow many small components in the true regression function. These results significantly broadens and sharpens existing ones in the literature.

연구 동기 및 목표

• 고차원 비모수적 가군 회귀에서 정규화 추정을 위한 통합 프레임워크를 개발하기 위해.
• 복잡한 기능 클래스를 가진 고차원 설정에서 부드러움과 희박성의 균형을 맞추는 데 도전하는 데.
• 최소한이고 해석 가능한 규칙성 조건 하에서 예측 성능에 대한 이론적 보장을 확립하기 위해.
• 이질적인 기능적 반노름과 민감한 설계 가정을 允許함으로써 기존 오라클 결과를 일반화하기 위해.

제안 방법

• 희박성에 대해 경험적 $L_2$ 노름과 부드러움에 대해 기능적 반노름(Sobolev, 유계 변동)을 조합한 정규화 손실 함수를 사용한다.
• 각 성분별 조정 파rameter $\lambda_{nj}$ 및 $\rho_{nj}$를 가진 가군 함수 공간 위에서 최소화자로 추정량을 정의한다.
• 개별 성분 함수 $g_j$ 의 복잡도를 제어하기 위해 기능적 반노름 $\|g_j\|_{F,j}$ 를 사용하며, 각 성분에 대해 다른 노름을 허용한다.
• 호환성 및 엔트로피 조건을 적용하여 오라클 부등식을 유도하며, 후자는 $\mathcal{G}_j$ 에 대한 거리 엔트로피 경계에서 유도된다.
• 보간 부등식 및 노름 비교를 통해 수렴 속도를 유도하며, $L_\infty$ 제어를 위한 가가르도-니레버그 유형 경계를 포함한다.
• 고정 설계와 랜덤 설계를 모두 다루며, 추가 수렴 가정 하에 경험적 호환성 대신 인구 수준의 호환성으로 대체한다.

실험 결과

연구 질문

• RQ1 고차원 비모수적 설정에서 정규화된 가군 추정량의 이론적 예측 성능 보장은 무엇인가?
• RQ2 Sobolev, 유계 변동 등 다양한 기능적 반노름은 가군 모델에서 수렴 속도에 어떻게 영향을 미치는가?
• RQ3 고차원성과 약한 희박성에도 불구하고 빠른 수렴 속도를 달성할 수 있는 조건는 무엇인가?
• RQ4 랜덤 설계 설정에서 호환성 조건을 인구 수준의 버전으로 대체할 수 있는가?
• RQ5 거리 엔트로피는 가군 모델의 수렴 속도 결정에 어떤 역할을 하는가?

주요 결과

• 논문은 서브가우시안 노이즈, 호환성, 엔트로피라는 세 가지 최소 조건 하에서 예측 위험에 대한 새로운 오라클 부등식을 확립한다.
• 동질적인 설정에서는 호환성 조건 없이 느린 속도를 달성하고, 강한 희박성 또는 많은 작은 성분을 포함한 $L_q$ 희박성 조건 하에서는 빠른 속도를 달성한다.
• 수렴 속도는 희박성 구조에 따라 $n^{-1/2}$ (느린 속도)에서 $n^{-1}$ (빠른 속도)까지 변동한다.
• Sobolev 및 유계 변동 클래스의 경우 엔트로피 조건은 명시적 경계 $H^*(u, \cdot) \leq B u^{-1/m}$ 를 통해 만족되며, 이는 속도 유도에 기여한다.
• $\overline{\mathcal{V}}^1$ 내 함수의 $L_\infty$ 노름은 $H^*(u, \cdot) \leq B_5 u^{-1}$ 를 통해 제어되며, 이에 따라 $\psi_n(z) \asymp z^{1/2}$ 가 된다.
• 보간 부등식은 $\|f\|_\infty$ 가 $\|f\|_{L_2}$ 와 고차수 반노름에 대해 유계임을 보여주며, 이는 균일 제어를 가능하게 한다.