[논문 리뷰] Sparse Additive Models

Pradeep Ravikumar, John Lafferty외 2명|ArXiv.org|2007. 11. 28.

Statistical Methods and Inference참고 문헌 20인용 수 7

한 줄 요약

이 논문은 고차원 비모수 회귀에서 희소성 유도 페널티와 비모수 스무딩 기법을 조합한 Sparse Additive Models(SpAM)를 소개한다. 스무딩과 희소성의 분리에 기반하여 SpAM는 효율적인 백피팅 알고리즘을 가능하게 하며, 예측 변수 수가 표본 크기보다 많은 경우에도 희소성 패턴 복원과 리스크 최소화에서 이론적 일致성을 달성한다.

ABSTRACT

We present a new class of methods for high-dimensional nonparametric regression and classification called sparse additive models (SpAM). Our methods combine ideas from sparse linear modeling and additive nonparametric regression. We derive an algorithm for fitting the models that is practical and effective even when the number of covariates is larger than the sample size. SpAM is closely related to the COSSO model of Lin and Zhang (2006), but decouples smoothing and sparsity, enabling the use of arbitrary nonparametric smoothers. An analysis of the theoretical properties of SpAM is given. We also study a greedy estimator that is a nonparametric version of forward stepwise regression. Empirical results on synthetic and real data are presented, showing that SpAM can be effective in fitting sparse nonparametric models in high dimensional data.

연구 동기 및 목표

• 예측 변수 수 p가 표본 크기 n을 초과하는 고차원 설정에서 비모수 모델을 피팅하는 데 도전하는 것.
• 라소의 희소성 원리를 비모수 가감성 모델에 확장하여 관련 공변수를 선택하면서도 부드럽고 비모수적인 함수를 추정하는 것.
• 임의의 비모수 스무딩 기법과 구성 요소 함수에 대한 l1-형 페널티를 통합한 확장 가능한 백피팅 알고리즘 개발.
• 고차원 점점 증가하는 설정 하에서 이론적 일치성 성질—희소성 유지성(sparsistence)과 지속성(persistence)—확립.
• 희소성 제약 조건이 있는 비모수 가감성 모델에 특화된 기능적 그룹 라소의 유사체 개발.

제안 방법

• 구성 요소 함수 계수의 l1-노름 합을 페널티로 삼는 볼록 최적화 문제로 SpAM를 수립하며, 임의의 비모수 스무딩 기법을 허용한다.
• 비모수 스무딩 기법(예: 커널, 스퍼린)을 사용해 각 구성 요소 함수를 반복적으로 갱신하면서 l1 페널티로 희소성을 유지하는 백피팅 알고리즘을 사용한다.
• 스무딩과 희소성의 분리를 통해 표준 비모수 기법을 사용해 구성 요소 함수를 독립적으로 추정한 후, 희소성 유도 페널티를 적용한다.
• 링크 함수와 l1-정규화 추정을 통한 일반화된 가감성 모델을 통한 분류에 대한 방법 적응.
• 이론적 기반은 구성 요소 함수의 재생 핵 힐베르트 공간(RKHS) 구조와 경험 과정 제어를 위한 브라켓팅 엔트로피에 기반한다.
• 고확률 경계를 도출하기 위해 가우시안 비교 및 농도 부등식을 활용하여 추정 오차와 희소성 패턴 복원에 대한 이론적 경계를 도출한다.

실험 결과

연구 질문

• RQ1 p > n 인 경우 비모수 가감성 모델에 효과적으로 희소성을 유도할 수 있는가?
• RQ2 제안된 백피팅 알고리즘이 고차원에서 진짜 비영 구성 요소 함수 집합을 일致성 있게 복원하는가(sparsistence)?
• RQ3 추정된 모델의 예측 리스크가 희소 가감성 함수의 클래스 내 최적 리스크에 일치하는가(persistence)?
• RQ4 합성 및 실제 고차원 데이터에서 이 방법은 어떻게 성능을 발휘하는가?
• RQ5 이론적 보장이 손상되지 않도록 희소성 제약 프레임워크 내에서 임의의 비모수 스무딩 기법을 효과적으로 사용할 수 있는가?

주요 결과

• SpAM는 희소성 유지성(sparsistence)을 달성한다: p_n = O(e^{n^ξ}) 이며 ξ < 3/5 이면, 비영 구성 요소 함수의 추정된 지원 집합이 확률적으로 진짜 지원 집합으로 수렴한다.
• SpAM는 지속성(persistence)을 달성한다: p_n = O(e^{n^ξ}) 이며 ξ < 1 이면, 추정된 모델의 예측 리스크가 희소 가감성 모델 클래스 내 최소 리스크로 수렴한다.
• 스무딩과 희소성의 분리 덕분에 백피팅 알고리즘이 p > n 인 경우에도 계산적으로 확장 가능하고 효과적이다.
• 적절한 정규성 조건 하에서 추정 오차가 O_P(L_n^2 / n^{(1−ξ)/2}) 속도로 감소함을 이론 분석이 보여준다.
• 합성 및 실제 데이터에 대한 실증 결과는 SpAM가 고차원 설정에서 관련 비모수 구성 요소를 효과적으로 식별하고 기준 방법보다 뛰어난 성능을 발휘함을 보여준다.
• 스무딩 기법이 일정한 엔트로피 및 농도 조건을 만족한다면, 방법은 스무딩 기법의 선택에 대해 강건하다.