[논문 리뷰] Prediction regions through Inverse Regression

Émilie Devijver, Émeline Perthame|arXiv (Cornell University)|2018. 07. 09.

Statistical Methods and Inference참고 문헌 17인용 수 8

한 줄 요약

이 논문은 예측 변수의 수가 표본 크기보다 큰 고차원 설정에서 다변량 선형 회귀를 위한 역회귀 접근법을 제안한다. 예측 변수를 반응 변수에 대해 모델링함으로써 전통적인 역할을 뒤집음으로써, 효율적인 매개수 추정과 명시적인 점근적 예측 영역을 가능하게 하여, 특히 변수 선택이 불가능한 경우 최소제곱법 및 정규화 방법과 경쟁 가능한 성능을 보인다.

ABSTRACT

Predict a new response from a covariate is a challenging task in regression, which raises new question since the era of high-dimensional data. In this paper, we are interested in the inverse regression method from a theoretical viewpoint. Theoretical results have already been derived for the well-known linear model, but recently, the curse of dimensionality has increased the interest of practitioners and theoreticians into generalization of those results for various estimators, calibrated for the high-dimension context. To deal with high-dimensional data, inverse regression is used in this paper. It is known to be a reliable and efficient approach when the number of features exceeds the number of observations. Indeed, under some conditions, dealing with the inverse regression problem associated to a forward regression problem drastically reduces the number of parameters to estimate and make the problem tractable. When both the responses and the covariates are multivariate, estimators constructed by the inverse regression are studied in this paper, the main result being explicit asymptotic prediction regions for the response. The performances of the proposed estimators and prediction regions are also analyzed through a simulation study and compared with usual estimators.

연구 동기 및 목표

• 예측 변수의 수 D가 표본 크기 N을 초과하는 설정에서 다변량 회귀 문제를 다루며, 이는 차원의 극복에 의해 전통적 방법이 실패하는 영역이다.
• 추정 복잡도를 감소시키기 위해 예측 변수와 반응 변수의 역할을 뒤집는 이론적으로 타당한 역회귀 프레임워크를 개발한다.
• 고차원 설정에서 다변량 반응 변수에 대한 명시적인 점근적 예측 영역을 유도한다.
• 특히 소표본, 고차원 설정에서 최소제곱법 및 Lasso와 같은 표준 추정기와의 비교를 통해 방법의 성능을 평가한다.
• 변수 선택에 의존하지 않고도 매개수 추정에서 희소성과 대각 행렬 구조를 유지할 수 있음을 보여준다.

제안 방법

• 반응 변수 Y ∈ ℝ^L 과 고차원 예측 변수 벡터 X ∈ ℝ^D 를 갖는 정방향 회귀 모형 Y = A*X + ε 을 수립한다.
• 예측 변수와 반응 변수의 결합분포를 활용하여 조건부 분포 X|Y 를 모델링함으로써 회귀 문제를 역전시킨다.
• 역모형 잔차의 구조에 대한 약한 가정 하에 계수 행렬 A*, 역공분산행렬 Γ*, 오차 공분산행렬 Σ* 의 명시적 추정기들을 도출한다.
• 추정기의 점근 정규성을 확립하고 매개수에 대한 정확하거나 점근적 신뢰 영역을 유도한다.
• 추정된 역회귀 모형 기반으로 반응 변수 Y 를 위한 명시적인 점근적 예측 영역을 구성한다.
• 시뮬레이션 연구를 통해 역회귀의 성능을 최소제곱법 및 부트스트랩 Lasso 의 성능과 커버리지, 예측 오차, 계산 효율성 측면에서 비교한다.

실험 결과

연구 질문

• RQ1 D >> N 인 고차원 다변량 회귀 설정에서 역회귀가 신뢰할 수 있고 취급 가능한 매개수 추정을 제공할 수 있는가?
• RQ2 다변량 설정에서 A*, Γ*, Σ* 의 역회귀 추정기의 점근적 성질은 무엇인가?
• RQ3 역회귀에서 도출된 예측 영역은 최소제곱법 및 Lasso의 예측 영역과 비교해 커버리지와 정확도 측면에서 어떻게 다른가?
• RQ4 역회귀는 진짜 매개수 행렬의 희소성 및 대각 행렬 구조와 같은 구조적 특성을 유지하는가?
• RQ5 표본 크기가 예측 변수의 수에 비해 작을 때, 이 방법은 유한 표본에서 어떻게 성능을 발휘하는가?

주요 결과

• 역회귀는 특히 표본 크기가 중간(예: N=500)이고 공분산 프로파일이 평균 근처일 때, 커버리지 측면에서 최소제곱법 및 부트스트랩 Lasso 와 경쟁 가능한 예측 영역을 생성한다.
• 공분산 프로파일이 평균에서 멀리 떨어져 있을 경우(예: 분위수 0.2 또는 0.35), 부트스트랩 Lasso 는 커버리지를 유지하지 못하는 반면, 역회귀의 예측 영역은 안정적이고 잘 校정되어 있다.
• 진짜 Γ* 및 Σ* 행렬의 대각 행렬 구조를 정확히 복원하며, 추정기들은 대각선 상에서 적절한 변동성을 보인다.
• 역회귀에서 도출된 계수 행렬 A* 의 추정치는 진짜 희소한 구조를 부분적으로 회복하며, 바이올린 플롯은 진짜 비영인 값 주변에 중심을 두고 있다.
• 예측 오차는 일반적으로 작으며, Σ* 에서 잔차 분산이 낮은 두 번째 반응 변수가 첫 번째 반응 변수보다 더 정확하게 예측된다.
• 역회귀의 계산 시간은 고차원 설정에서도 여전히 합리적이며, 변수 선택이 불가능한 경우 정규화 방법에 대한 실용적인 대안이 될 수 있다.