[논문 리뷰] Independently Interpretable Lasso: A New Regularizer for Sparse Regression with Uncorrelated Variables

Masaaki Takada, Taiji Suzuki외 1명|arXiv (Cornell University)|2017. 11. 06.

Statistical Methods and Inference참고 문헌 21인용 수 9

한 줄 요약

이 논문은 상관된 특징의 선택을 억제하기 위해 활성 변수 간의 상대적 상관관계에 대한 페널티를 포함하는 새로운 희박 회귀 정규화 방법인 독립적으로 해석 가능한 라소(IILasso)를 제안한다. 상관관계가 낮은 활성 변수를 촉진함으로써 IILasso는 모델의 해석 가능성과 일반화 능력을 향상시키며, Lasso보다 더 유연한 조건 하에서도 신호 일致성(sign consistency)를 달성하고 거의 최소 최대 최적의 추정 오차율을 기록한다. 이는 시뮬레이션 데이터와 실제 마이크로어레이 데이터에서 뛰어난 성능을 보였다.

ABSTRACT

Sparse regularization such as $\ell_1$ regularization is a quite powerful and widely used strategy for high dimensional learning problems. The effectiveness of sparse regularization has been supported practically and theoretically by several studies. However, one of the biggest issues in sparse regularization is that its performance is quite sensitive to correlations between features. Ordinary $\ell_1$ regularization can select variables correlated with each other, which results in deterioration of not only its generalization error but also interpretability. In this paper, we propose a new regularization method, "Independently Interpretable Lasso" (IILasso). Our proposed regularizer suppresses selecting correlated variables, and thus each active variable independently affects the objective variable in the model. Hence, we can interpret regression coefficients intuitively and also improve the performance by avoiding overfitting. We analyze theoretical property of IILasso and show that the proposed method is much advantageous for its sign recovery and achieves almost minimax optimal convergence rate. Synthetic and real data analyses also indicate the effectiveness of IILasso.

연구 동기 및 목표

• 표준 라소에서 상관된 특징 선택으로 인한 해석 어려움과 과적합 문제를 해결하기 위해.
• 선택된 변수들이 상관관계가 없도록 보장하는 정규화 방법을 개발하여, 회귀 계수의 독립적 해석을 가능하게 하기 위해.
• 고차원, 상관관계가 있는 설계 조건 하에서도 특히 신호 복원 및 추정 오차 측면에서 더 나은 통계적 성능을 달성하기 위해.
• 변수 군집화 등의 사전 처리 단계 없이도 강력한 이론적 보장을 유지하면서도 적용 가능한 방법을 제공하기 위해.

제안 방법

• IILasso는 선택된(활성화된) 변수들 간의 상대적 상관관계의 절대값 합에 대한 새로운 정규화 항을 도입한다.
• 비볼록 목적 함수를 최적화하기 위해 좌표 강하 알고리즘을 사용하며, 정적점에 수렴함을 보장한다.
• 특히 음의 상관관계가 높은 변수들의 선택을 억제하도록 페널티 항을 설계하였다.
• 활성 변수들 간의 상관관계를 낮추면서도 강력한 희박성 유지가 가능하도록 구성되었다.
• 선형 회귀 및 로지스틱 회귀 모델, 고차원 설정 모두에 적용 가능하다.
• 이론적 분석 결과, 모든 국소 최적점이 전역 최적점과 동일한 수렴 속도를 달성함을 확인하여, 비볼록성에도 불구하고 통계적 효율성이 보장됨을 입증하였다.

실험 결과

연구 질문

• RQ1 상관관계가 없는 활성 변수를 선택하도록 설계된 희박 정규화 방법을 개발할 수 있는가? 이를 통해 모델의 해석 가능성이 향상되는가?
• RQ2 진짜 활성 변수들이 상관관계가 없을 경우, 제안된 정규화 항이 표준 라소보다 더 유연한 조건 하에서도 신호 일치성을 달성하는가?
• RQ3 고차원 설정에서 상관관계가 있는 특징이 존재할 경우, IILasso가 추정 오차에 대해 거의 최소 최대 최적 수렴 속도를 달성할 수 있는가?
• RQ4 실제 데이터에서 예측 오차, 모델 크기, 오분류율 측면에서 IILasso는 라소, SCAD, MCP, 엘라스틱넷과 비교해 어떤 성능을 보이는가?

주요 결과

• 시뮬레이션 데이터에서 IILasso는 예측 오차(1.45 ± 0.02)와 추정 오차(1.40 ± 0.04)가 가장 낮게 나타나, 라소, SCAD, MCP, EGLasso를 모두 앞섰다.
• IILasso의 모델 크기(13.5 ± 0.23)는 라소(34.1 ± 0.46)보다 유의미하게 작았고, MCP와 유사하여 더 나은 희박성을 보였다.
• 10개의 실제 마이크로어레이 데이터셋에서 IILasso는 9개의 경우에서 오분류 오차가 가장 낮았고, 5개의 경우에서 로그우도(log-likelihood)가 가장 우수하여 일반화 능력이 뛰어났다.
• 10개 데이터셋 중 6개에서 모델 크기가 가장 작았으며, 1개는 동점이었고, 5개에서는 가장 작은 크기를 기록하여 강력한 희박성을 입증했다.
• 이론적 분석을 통해 진짜 활성 변수들이 상관관계가 없을 경우, IILasso가 라소보다 더 유연한 조건 하에서도 신호 일치성을 달성함을 확인하였다.
• IILasso 목적 함수의 모든 국소 최적점이 전역 최적점과 동일한 수렴 속도를 확보함으로써, 비볼록성에도 불구하고 통계적 효율성이 보장됨을 입증하였다.