[논문 리뷰] Robust Regression via Mutivariate Regression Depth

Chao Gao|arXiv (Cornell University)|2017. 02. 15.

Advanced Statistical Methods and Models참고 문헌 33인용 수 9

한 줄 요약

이 논문은 Huber의 $\epsilon$-contamination 모델을 다루기 위해 다변량 회귀 깊이를 기반으로 한 강건한 회귀 프레임워크를 제안한다. 경험적 깊이 함수를 최대화함으로써, 비모수적, 희소적, 저질서수, 다변량 회귀를 포함한 다양한 설정에서 최대최소 최적 오차율을 달성한다. 이는 적대적인 오염 조건 하에서도 성립한다.

ABSTRACT

This paper studies robust regression in the settings of Huber's $ε$-contamination models. We consider estimators that are maximizers of multivariate regression depth functions. These estimators are shown to achieve minimax rates in the settings of $ε$-contamination models for various regression problems including nonparametric regression, sparse linear regression, reduced rank regression, etc. We also discuss a general notion of depth function for linear operators that has potential applications in robust functional linear regression.

연구 동기 및 목표

• 최대 $\epsilon$ 비율의 데이터 포인트가 임의로 손상된 $\epsilon$-contamination 환경에서 강건한 회귀 문제를 다루는 것.
• 비모수적, 희소적, 저질서수, 다변량 회귀를 포함한 다양한 회귀 모델에 대해 오염 조건 하에서도 통계적 최적성을 유지하는 통합된 추정 절차를 개발하는 것.
• 비모수적 및 고차원 설정에서 $\epsilon$-contamination 모델 하에 깊이 기반 추정기의 최대최소 최적성 증명하기.
• 선형 연산자에 대한 일반적인 깊이 개념을 도입하여, 강건한 기능적 선형 회귀로의 확장을 가능하게 하는 것.

제안 방법

• 다변량 회귀 깊이를 $\mathcal{D}_{\mathcal{U}}(B,\mathbb{P}) = \inf_{U\in\mathcal{U}} \mathbb{P}\left\{\langle U^T X, Y - B^T X \rangle \geq 0\right\}$ 로 정의하며, 여기서 $\mathcal{U}$ 는 영이 아닌 행렬의 집합이다.
• 경험적 깊이 함수를 최대화하여 회귀 매개수 $B$ 를 추정한다: $\widehat{B} = \mathop{\rm argmax}_{B\in\mathcal{B}} \mathcal{D}_{\mathcal{U}}(B, \mathbb{P}_n)$.
• 비모수적, 희소 선형, 가우시안 그래픽스, 저질서수 트레이스, 다변량, 그룹 희소, 감소질서수 회귀를 포함한 일곱 가지 다른 회귀 문제에 깊이 기반 추정기를 적용한다.
• 곡률과 농도 분석을 활용하여 추정 오차의 경계를 유도하며, 깊이 함수의 오염에 대한 강건성에 기반한다.
• 깊이 최대화와 최대최소 위험 간의 관계를 활용하여, 깊이 기반 추정기가 깨끗한 모델 성능과 오염에 의한 오차 사이의 최적 트레이드오프를 달성함을 보여준다.
• 선형 연산자에 대한 일반적인 깊이 프레임워크를 구축하여, 기능적 및 연산자 값 회귀 설정으로의 접근 확장을 가능하게 한다.

실험 결과

연구 질문

• RQ1 단일의 강건한 추정 절차가 $\epsilon$-contamination 모델 하에서 다양한 회귀 모델에 대해 최대최소 최적 속도를 달성할 수 있는가?
• RQ2 최대 $\epsilon$ 비율의 데이터가 적대적으로 손상된 상황에서 다변량 회귀 깊이 함수는 어떻게 강건한 추정을 가능하게 하는가?
• RQ3 오염 조건 하에서 고차원 및 비모수적 설정에서 깊이 기반 추정기의 통계적 성능은 어떠한가?
• RQ4 깊이 프레임워크는 선형 연산자로 일반화될 수 있으며, 이는 강건한 기능적 선형 회귀를 가능하게 하는가?
• RQ5 오염 조건 하에서 기존 방법과 비교해 깊이 기반 추정기는 최대최소 최적성 측면에서 어떻게 성능을 내는가?

주요 결과

• 비모수적 회귀에서 깊이 기반 추정기는 $\epsilon$-contamination 모델 하에서 최대최소 최적 오차율을 달성하며, 오차는 $C\left(\frac{s\log(ep/s)}{n} \vee \epsilon^2 + \frac{\log(1/\delta)}{n}\right)$ 로 유계이다.
• 희소 선형 회귀의 경우, 추정기는 높은 확률로 $\ell_1$-오차 경계 $\|\widehat{\beta} - \beta\|_1^2 \leq C\left(\frac{s^2\log(ep/s)}{n} \vee s\epsilon^2 + \frac{s\log(1/\delta)}{n}\right)$ 를 만족한다.
• 가우시안 그래픽스 모델에서는 정밀도 행렬 추정기 $\widehat{\Omega}$ 가 높은 확률로 $\|\widehat{\Omega} - \Omega\|_{\ell_1}^2 \leq C_4\left(\frac{s^2\log(ep/s)}{n} \vee s\epsilon^2 + \frac{s\log(1/\delta)}{n}\right)$ 를 만족한다.
• 다변량 및 감소질서수 회귀 설정에서 이 방법은 최대최소 최적성을 달성하며, 오염 조건 하에서 다중 반응의 동시 추정이 필수적임을 보여준다.
• 깊이 기반 접근은 임의의 오염 분포 $Q$ 에 대해 강건하며, $Q$ 가 알려지지 않았거나 적대적인 경우에도 추정기는 일관성을 유지한다.
• 선형 연산자에 대한 일반적인 깊이 프레임워크를 제안하며, 이는 강건한 기능적 선형 회귀로의 응용 가능성을 열어, 깊이 기반 방법의 적용 범위를 확장한다.