[논문 리뷰] The BerHu penalty and the grouped effect

Laurent Zwald, Sophie Lambert‐Lacroix|arXiv (Cornell University)|2012. 07. 30.

Advanced Statistical Methods and Models참고 문헌 26인용 수 35

한 줄 요약

이 논문은 Huber의 강건 기준과 적응형 lasso의 하이브리드인 적응형 BerHu 펜alties를 도입한다. 이는 작은 계수에는 $β$-노름 수축을, 큰 계수에는 이차 페널티를 적용하여, 일반 최소제곱과 Huber 기준 모두에서 오라클 성질을 달성하면서도, 큰 계수를 하나의 그룹으로 간주함으로써 군집 효과를 유도한다. 이는 상관관계가 높고 잔차가 두꺼운 꼬리 분포를 가진 고차원 설정에서 변수 선택 성능을 향상시킨다.

ABSTRACT

The Huber's criterion is a useful method for robust regression. The adaptive least absolute shrinkage and selection operator (lasso) is a popular technique for simultaneous estimation and variable selection. In the case of small sample size and large covariables numbers, this penalty is not very satisfactory variable selection method. In this paper, we introduce an adaptive reversed version of Huber's criterion as a penalty function. We call this penalty adaptive Berhu penalty. As for elastic net penalty, small coefficients contribute their $\ell_1$ norm to this penalty while larger coefficients cause it to grow quadratically (as ridge regression). We show that the estimator associated with criterion such that ordinary least square or Huber's one combining with adaptive Berhu penalty enjoys the oracle properties. In addition, this procedure encourages a grouping effect. This approach is compared with adaptive elastic net regularization. Extensive simulation studies demonstrate satisfactory finite-sample performance of such procedure. A real example is analyzed for illustration purposes. Keywords : Adaptive Berhu penalty; concomitant scale; elastic net penalty; Huber's criterion; oracle property; robust estimation.

연구 동기 및 목표

• 중심 잔차나 이질값이 존재하는 고차원, 소표본 설정에서 lasso의 한계를 해결한다.
• 예측 변수 간 상관관계가 높을 경우 lasso의 일관성 없는 변수 선택 및 열악한 성능을 극복한다.
• Huber 기준, lasso, 릿지 회귀의 장점을 결합한 강건하고 적응형 페널티를 개발한다.
• 일반 최소제곱과 Huber 기준 모두에서 추정량이 오라클 성질—변수 선택 및 추정의 일관성—을 확보하도록 보장한다.
• 큰 계수를 하나의 그룹으로 간주하여 공동 페널티를 적용함으로써 군집 효과를 유도하여, 상관관계가 높은 예측 변수 설정에서의 선택 안정성을 향상시킨다.

제안 방법

• 작은 계수에는 $β$-노름 수축, 큰 계수에는 이차 페널티를 적용하는 적응형 BerHu 페널티를 제안하여, 엘라스틱 넷의 행동을 모방한다.
• 일반 최소제곱 또는 Huber 기준과 적응형 BerHu 페널티를 조합하여 강건하고 적응형 추정 프레임워크를 구성한다.
• 스케일 불변성을 확보하고 강건성을 향상시키기 위해 공여 스케일 추정을 사용한다.
• 효율적인 계산을 위해 최적화 문제를 제2차원 원판 프로그램(SOCP)으로 공식화한다.
• 페널티 구조가 $β$-노름을 통해 큰 계수를 함께 페널티 적용함으로써 암묵적으로 큰 계수를 그룹화하여, 군집된 라소 효과를 모방한다.
• 일반 최소제곱과 Huber 기준 모두에서 이론적으로 오라클 성질을 증명하며, 변수 선택 및 추정의 일관성을 확보한다.

실험 결과

연구 질문

• RQ1 적응형 BerHu 페널티가 두꺼운 꼬리 잔차를 가진 고차원 회귀에서 오라클 성질을 달성할 수 있는가?
• RQ2 적응형 BerHu 페널티는 엘라스틱 넷이나 군집된 라소와 유사하게 높은 상관관계를 가진 예측 변수에 대해 군집 효과를 유도하는가?
• RQ3 Huber 기준과 적응형 BerHu 페널티의 조합이 변수 선택 및 추정 정확도 측면에서 적응형 엘라스틱 넷보다 우월한가?
• RQ4 적응형 BerHu 프레임워크에서 군집 효과에 대한 이론적 근거는 무엇인가?
• RQ5 공여 스케일 추정이 고차원 설정에서 강건성과 유한표본 성능을 향상시킬 수 있는가?

주요 결과

• 적응형 BerHu 페널티와 Huber 기준을 적용한 추정량은 고차원 점근적 설정에서 오라클 성질을 확보하여, 일관된 변수 선택 및 추정이 보장된다.
• 적응형 BerHu 페널티는 큰 계수를 하나의 그룹으로 간주하고 $β$-노름을 통해 공동 페널티를 적용함으로써 군집 효과를 유도하며, 높은 상관관계가 존재할 경우 선택 안정성을 향상시킨다.
• 표본 수 $n \ll p$ 조건에서 중성 잔차가 존재하는 유한표본에서 표준 lasso 및 적응형 lasso보다 성능이 뛰어나다.
• 시뮬레이션 연구를 통해 적응형 BerHu 방법은 오염된 데이터와 높은 상관관계 조건에서도 높은 진짜 양성률과 낮은 거짓 발견률을 유지함을 확인하였다.
• 공여 스케일 추정은 두꺼운 꼬리 오차 분포 하에서 계수 추정의 편향을 감소시켜 강건성을 향상시킨다.
• 제안된 방법은 계산적으로 효율적이며 MATLAB로 구현되었으며, 재현 가능성을 위해 코드가 공개되어 있다.