[논문 리뷰] A Constructive Approach to the Estimation of Dimension Reduction Directions

Yingcun Xia|ArXiv.org|2007. 01. 26.

Statistical and numerical algorithms참고 문헌 21인용 수 4

한 줄 요약

이 논문은 중심 부분공간(CS)의 차원 감소 방향을 추정하기 위한 구축적 접근을 제안한다. 이를 위해 회귀 모형을 변형하여 CS가 중심 평균 공간(CMS)과 일치하도록 하여 CS 방향을 철저히 탐지할 수 있도록 한다. 이 방법은 이중 커널 스무딩과 2차 프로그래밍을 사용하여 루트-n 일致성 추정을 달성하며, 역회귀 및 직접 회귀 방법에 비해 유의미한 표본 크기 성능을 보인다.

ABSTRACT

In this paper, we propose two new methods to estimate the dimension-reduction directions of the central subspace (CS) by constructing a regression model such that the directions are all captured in the regression mean. Compared with the inverse regression estimation methods (e.g. Li, 1991, 1992; Cook and Weisberg, 1991), the new methods require no strong assumptions on the design of covariates or the functional relation between regressors and the response variable, and have better performance than the inverse regression estimation methods for finite samples. Compared with the direct regression estimation methods (e.g. Härdle and Stoker, 1989; Hristache, Juditski, Polzehl and Spokoiny, 2001; Xia, Tong, Li and Zhu, 2002), which can only estimate the directions of CS in the regression mean, the new methods can detect the directions of CS exhaustively. Consistency of the estimators and the convergence of corresponding algorithms are proved.

연구 동기 및 목표

• 강한 설계 가정이 필요하고 유한 표본 성능이 열 劣한 기존의 역회귀 방법의 한계를 해결한다.
• 직접 회귀 방법의 결함을 보완한다. 특히 조건부 분산과 관련된 모든 CS 방향을 탐지하지 못하는 점을 해결한다.
• CS가 중심 평균 공간(CMS)과 일치하도록 회귀 모형을 변형하여 모든 CS 방향을 철저히 식별할 수 있는 방법을 개발한다.
• 약한 규칙성 조건 하에서 제안된 알고리즘의 일致성과 수렴성을 확보한다.
• 푸리에 변환과 2차 프로그래밍을 활용하여 비모수 밀도 추정의 계산적 효율성을 높이는 대안을 제공한다.

제안 방법

• 조건부 밀도가 조건부 평균 함수와 渐近적으로 동일해지도록 하는 회귀 모형을 구축하여 CMS 추정 기법을 적용할 수 있도록 한다.
• 디자인 변수와 반응 변수에 각각 대응하는 폭 h와 b를 사용하여 이중 커널 스무딩을 통해 조건부 밀도 및 평균 함수를 추정한다.
• 목적 함수를 주파수 도메인에서 표현함으로써 2차 프로그래밍에 적합한 형태로 변환하기 위해 역푸리에 변환을 적용한다.
• 해석적 해를 갖는 두 개의 별도된 2차 프로그래밍 문제로 최소화 문제를 재구성하여 계산 효율성을 확보한다.
• 스무딩 커널의 특성 함수 φ_K와 φ_H를 사용하여 조건부 밀도 및 평균의 동시 추정을 처리한다.
• 추정 함수의 모멘트 한계와 경험 과정 이론을 활용하여 알고리즘의 거의 확실 수렴성과 추정기의 일치성을 증명한다.

실험 결과

연구 질문

• RQ1 중앙 부분공간(CS)이 중심 평균 공간(CMS) 추정을 통해 완전히 복원 가능한 구축적 회귀 모형을 설계할 수 있는가?
• RQ2 평균 함수만으로는 포착되지 않는 CS 방향들까지 포함하여 CS 방향을 철저히 어떻게 추정할 수 있는가?
• RQ3 제안된 방법의 유한 표본 성능은 역회귀(SIR, SAVE 등) 및 직접 회귀(ADE, MAVE 등) 방법과 비교하여 어떠한가?
• RQ4 약한 규칙성 조건 하에서 제안된 알고리즘이 루트-n 일치성과 수렴성을 달성할 수 있는가?
• RQ5 이중 커널 스무딩과 푸리에 변환의 사용이 추정 효율성과 계산 가능성을 어떻게 향상시키는가?

주요 결과

• 제안된 방법은 추정된 CS 방향에 대해 루트-n 일치성을 달성하여 渐近적 효율성을 보장한다.
• 경험 과정의 경계와 모멘트 부등식을 활용하여 약한 규칙성 조건 하에서 알고리즘이 거의 확실하게 수렴함을 증명하였다.
• 시뮬레이션 결과는 복잡한 종속 구조에서 기존의 역회귀 및 직접 회귀 방법에 비해 뛰어난 표본 크기 성능을 보였다.
• 직접 회귀 방법이 평균과 관련된 방향들만 포착하는 데 반해, 이 방법은 조건부 분산과 관련된 모든 CS 방향을 성공적으로 탐지하였다.
• 해석적 해를 갖는 2차 프로그래밍의 사용은 빠르고 안정적인 계산을 가능하게 하여 비모수 밀도 추정의 차원의 극복 문제를 해결하였다.
• 실제 데이터 세트에 대한 실증 응용 결과는 고차원 회귀 설정에서 이 방법의 실용적 유용성을 검증하였다.