[논문 리뷰] Trace Lasso: a trace norm regularization for correlated designs

Édouard Grave, Guillaume Obozinski외 1명|arXiv (Cornell University)|2011. 09. 09.

Statistical Methods and Inference참고 문헌 24인용 수 58

한 줄 요약

이 논문은 상관관계가 있는 공변량을 가진 고차원 선형 모형에서 추정을 적응적으로 안정화하는 데 사용되는 새로운 정규화 방법인 트레이스 라소(trace Lasso)를 소개한다. 가중치가 부여된 설계 행렬의 트레이스 노름을 사용하여 상관관계 구조를 활용해 필요한 곳에만 더 강한 볼록성(stronger convexity)을 적용함으로써, 특히 블록 대각형 및 토플리츠 설계에서 강한 상관관계를 보이는 시뮬레이션 실험에서 라소, 엘라스틱 넷, 그룹 라소보다 뛰어난 성능을 보인다.

ABSTRACT

Using the $\ell_1$-norm to regularize the estimation of the parameter vector of a linear model leads to an unstable estimator when covariates are highly correlated. In this paper, we introduce a new penalty function which takes into account the correlation of the design matrix to stabilize the estimation. This norm, called the trace Lasso, uses the trace norm, which is a convex surrogate of the rank, of the selected covariates as the criterion of model complexity. We analyze the properties of our norm, describe an optimization algorithm based on reweighted least-squares, and illustrate the behavior of this norm on synthetic data, showing that it is more adapted to strong correlations than competing methods such as the elastic net.

연구 동기 및 목표

• 높은 차원에서 공변량 간 상관관계가 높을 경우 라소의 불안정성을 해결하기 위해.
• 그룹의 구조에 대한 사전 지식이 필요 없이 설계 행렬의 상관관계 구조에 적응하는 정규화 방법을 개발하기 위해.
• 상관관계가 존재하는 환경에서 랜덤 변수 선택을 피하는 볼록적이고 안정적인 라소의 대안을 제공하기 위해.
• 엘라스틱 넷 및 그룹 라소와 같은 기존 방법보다 상관관계가 있는 설계 상황에서 적응적 정규화를 통해 성능을 뛰어나게 하기 위해.

제안 방법

• 트레이스 라소 펜alty는 설계 행렬과 계수의 대각행렬의 곱의 트레이스 노름으로 정의되며, 즉 $\|\mathbf{X} \operatorname{Diag}(\mathbf{w})\|_*$.
• 최적화 문제를 해결하기 위해 재가중 최소제곱 알고리즘을 사용하여 효율적인 계산을 가능하게 한다.
• 펜alty는 질량 최소화의 볼록한 서로서바로 유도되며, 이는 상관관계가 있는 변수의 군집화를 장려한다.
• 이론적 분석을 통해 트레이스 노름 펜alty의 이阶 전개는 짝별 엘라스틱 넷 펜alty와 유사하게 행동함을 보여주며, 이는 상관관계가 있는 계수들이 서로 향해 수축되도록 유도한다.
• 메서드는 경험적 상관계수를 기반으로 $\ell_1$ 및 $\ell_2$ 정규화 사이를 보간하도록 설계되어 있다.
• 펜alty가 유일하게 최소화되며, 최적화 문제가 잘 정의되어 있음을 보여준다.

실험 결과

연구 질문

• RQ1 공변량 간 상관관계가 존재하는 상황에서 상관관계에 적응적으로 계수 추정을 안정화하는 볼록 정규화 펜alty를 설계할 수 있는가?
• RQ2 강한 상관관계 하에서 트레이스 라소는 라소 및 엘라스틱 넷에 비해 추정 정확도에서 어떻게 성능을 내는가?
• RQ3 트레이스 라소는 그룹의 구조에 대한 사전 지식 없이도 자동으로 상관관계가 있는 변수를 감지하고 군집화하는가?
• RQ4 비상관관계 설정에서는 트레이스 라소의 성능이 라소에 비해 얼마나 떨어지는가?
• RQ5 트레이스 라소는 상관관계 구조를 통합한 엘라스틱 넷의 자연스러운 확장으로 해석될 수 있는가?

주요 결과

• 비상관관계 설계(항등 공분산)에서는 경험적 상관계수가 약하기 때문에 트레이스 라소가 라소보다 略적으로 열등하지만, 안정성이 유지된다.
• 8개의 매우 상관관계가 높은 변수로 이루어진 블록 대각형 설계에서는 트레이스 라소가 라소, 엘라스틱 넷, 짝별 엘라스틱 넷 모두를 뛰어나게 성능을 발휘한다.
• 장거리 상관관계를 가진 토플리츠 설계에서는 트레이스 라소가 경쟁 방법들보다 우수한 추정 오차를 달성한다.
• 트레이스 노름 펜alty의 이阶 전개는 상관관계가 있는 계수들이 서로 향해 수축되도록 유도함을 보여주며, 이는 짝별 엘라스틱 넷 펜alty와 유사하다.
• 트레이스 라소의 성능은 강인하고 적응적이다: 저상관관계 영역에서는 라소처럼 행동하고, 고상관관계 영역에서는 그룹 정규화 방법처럼 행동한다.
• 정규화에 상관관계 구조를 통합할 경우, 수동적인 그룹 정의 없이도 추정의 안정성과 정확성이 향상됨을 보여준다.