[논문 리뷰] High-dimensional robust regression and outliers detection with SLOPE

Alain Virouleau, Agathe Guilloux외 2명|arXiv (Cornell University)|2017. 12. 07.

Advanced Statistical Methods and Models참고 문헌 50인용 수 6

한 줄 요약

이 논문은 정렬된 L1-벌점(Penalization)을 사용하여 회귀 계수와 개별 절편(이상치)을 동시에 추정하는 새로운 고차원 복원성 회귀 방법인 E-SLOPE를 제안한다. 평균 이동 모형에서 이상치 탐지에 대한 거짓 발견률(FDR) 제어 및 높은 통계적 검정력에 대한 이론적 보장을 처음으로 수립하였으며, 시뮬레이션과 실제 데이터를 통해 검증되었고, 파이썬 및 C++로 개방소스 소프트웨어를 제공한다.

ABSTRACT

The problems of outliers detection and robust regression in a high-dimensional setting are fundamental in statistics, and have numerous applications. Following a recent set of works providing methods for simultaneous robust regression and outliers detection, we consider in this paper a model of linear regression with individual intercepts, in a high-dimensional setting. We introduce a new procedure for simultaneous estimation of the linear regression coefficients and intercepts, using two dedicated sorted-$\ell_1$ penalizations, also called SLOPE. We develop a complete theory for this problem: first, we provide sharp upper bounds on the statistical estimation error of both the vector of individual intercepts and regression coefficients. Second, we give an asymptotic control on the False Discovery Rate (FDR) and statistical power for support selection of the individual intercepts. As a consequence, this paper is the first to introduce a procedure with guaranteed FDR and statistical power control for outliers detection under the mean-shift model. Numerical illustrations, with a comparison to recent alternative approaches, are provided on both simulated and several real-world datasets. Experiments are conducted using an open-source software written in Python and C++.

연구 동기 및 목표

• 고차원 선형 모형에서 동시에 복원성 회귀와 이상치 탐지를 수행하는 데 도전하는 문제를 해결하기 위해.
• 이상치 식별 시 거짓 발견률(FDR)을 제어하면서도 높은 통계적 검정력을 유지하는 방법을 개발하기 위해.
• SLOPE 프레임워크를 확장하여 이상치에 대한 개별 절편을 모델링함으로써, 회귀 계수와 이상치 효과를 동시에 추정할 수 있도록 하기 위해.
• 회귀 계수와 이상치 절편 양쪽에 대한 추정 오차 및 지지 집합 복원 보장에 이론적 보장을 제공하기 위해.
• 모델을 시뮬레이션 및 실제 데이터 세트에서 실증적으로 검증하고, 최근의 대안들과 비교하여 유의미한 성능을 보이기 위해.

제안 방법

• 전역 회귀 계수와 개별 절편(이상치)을 위한 두 가지 페널티를 적용한 이중 페널티 회귀 모델을 도입하며, 둘 다 정렬된 L1 노름(SLOPE)을 사용한다.
• 이상치가 개별 절편으로 표현되는 평균 이동 모형을 사용하여, 전반적인 회귀 구조와 이상치 특화된 편차를 구분할 수 있도록 한다.
• 정렬된 L1 페널티를 통해 두 단계 최적화 절차를 적용하여, 동시에 회귀 계수와 이상치 지표에 대한 흐트러짐을 유도한다.
• 회귀 계수 벡터와 이상치 절편 벡터에 대한 추정 오차에 대한 날카운 상한을 유도한다.
• 벤자민-호크베르그 절차의 성질을 활용하여, 이상치 지지 집합 선택에 대한 점근적 분석을 통해 FDR과 통계적 검정력을 제어한다.
• 효율적인 볼록 최적화 알고리즘을 사용하여 구현하였으며, 재현 가능성과 확장성을 확보하기 위해 파이썬 및 C++로 개방소스 코드를 제공한다.

실험 결과

연구 질문

• RQ1 고차원 회귀 모형이 이론적 보장을 바탕으로 동시에 회귀 계수와 이상치 특화 절편을 추정할 수 있는가?
• RQ2 제안된 E-SLOPE 방법이 평균 이동 모형 하에서 이상치 탐지 시 제어된 거짓 발견률(FDR)을 달성하는가?
• RQ3 E-SLOPE의 통계적 검정력은 진짜 이상치를 식별하는 데 얼마나 높은가? 기존 방법들과 비교해보면 어떠한가?
• RQ4 고차원 설정에서 회귀 계수와 이상치 절편에 대한 추정 오차가 낮게 유지될 수 있는가?
• RQ5 E-SLOPE는 다양한 상관 구조와 이상치 크기를 가진 실제 데이터 및 시뮬레이션 데이터 세트에서 실질적으로 어떻게 성능을 발휘하는가?

주요 결과

• E-SLOPE는 평균 이동 모형 하에서 점근적 FDR 제어를 달성하며, lim sup FDR ≤ q + c 를 만족한다. 여기서 c는 임의로 작게 만들 수 있다.
• 이 방법은 높은 통계적 검정력을 확보하며, 정규성 조건 하에서 검정력이 1으로 수렴하여 대부분의 진짜 이상치가 탐지됨을 보장한다.
• 회귀 계수와 이상치 절편에 대한 추정 오차는 높은 확률로 유계이며, 노이즈 수준과 설계 행렬의 성질에 따라 명시적인 상한이 유도되었다.
• 저강도 이상치와 높은 상관관계(ρ = 0.8)를 가진 시뮬레이션에서 E-SLOPE는 FDR 제어를 유지하며 완벽한 검정력을 확보하여 E-LASSO와 IPOD를 능가한다.
• 다양한 시뮬레이션 설정, 특히 높은 상관관계와 다양한 목표 FDR 수준(10% 및 20%)에서 E-SLOPE는 회귀 계수와 절편에 대해 가장 낮은 평균 제곱오차(MSE)를 제공한다.
• 보조 시뮬레이션을 통해 약한 이상치에 대해서도 강건성을 확보하였으며, 다양한 설계 행렬에서도 성능이 유지됨을 확인하였다. 이는 고상관관계 및 높은 FDR 목표 설정에서도 동일하게 성립한다.