[논문 리뷰] The Accessible Lasso Models

Amir Sepehri, Naftali Harris|arXiv (Cornell University)|2015. 01. 12.

Statistical Methods and Inference참고 문헌 12인용 수 3

한 줄 요약

이 논문은 설계 행렬과 그 부정의 볼록 코일의 면들에 대응하는, 접근 가능한 라소 모델의 집합에 대한 기하적 특성화를 제공한다. 주요 결과는 진짜 모델 크기가 관측 수의 절반을 초과할 경우, 정규화 파rameter λ의 값과 관계없이 모델 선택의 비일관성이 발생한다는 직접적인 증명이다.

ABSTRACT

A new line of research on the lasso exploits the beautiful geometric fact that the lasso fit is the residual from projecting the response vector $y$ onto a certain convex polytope. This geometric picture also allows an exact geometric description of the set of accessible lasso models for a given design matrix, that is, which configurations of the signs of the coefficients it is possible to realize with some choice of $y$. In particular, the accessible lasso models are those that correspond to a face of the convex hull of all the feature vectors together with their negations. This convex hull representation then permits the enumeration and bounding of the number of accessible lasso models, which in turn provides a direct proof of model selection inconsistency when the size of the true model is greater than half the number of observations.

연구 동기 및 목표

• 주어진 설계 행렬에 대해 라소가 선택할 수 있는 서명된 모델(지지 집합 및 부호 구성)을 특성화하는 것.
• 접근 가능한 라소 모델과 설계 행렬 및 그 부정의 볼록 코일의 면들 사이의 기하적 대응 관계를 설정하는 것.
• 특히 상한 정리(upper bound theorem)를 활용한 다면체 조합론을 통해 접근 가능한 라소 모델의 수를 제한하는 것.
• 진짜 모델 크기가 관측 수의 절반을 초과할 경우 모델 선택 비일관성을 직접 기하학적으로 증명하는 것.
• 모델 선택 비일관성이 정규화 파rameter λ의 선택과 무관하게 설계 행렬 기하학의 본질적인 성질임을 보여주는 것.

제안 방법

• 설계 행렬 X = [X₀, -X₀] 및 β = (β₀⁺, β₀⁻)를 사용한 비음수 파arameterization을 통해 라소 최적화 문제를 재구성하여, 각 쌍 중 최대 하나만 비영이 되도록 보장한다.
• 접근 가능한 모델 S는 집합 A_S = {y : supp(β(y)) = S}가 비어 있지 않은 경우로, 반응 공간 내 영역에 대응한다.
• KKT 조건을 사용하여 null 모델 다면체 A_∅가 CH(X)의 폴라 듀얼임을 보여주어 기하학적 분석을 가능하게 한다.
• 각 접근 가능한 서명된 모델 S는 CH(X)의 면 F_S에 대응하며, A_S는 F_S와 X_S에 의해 생성된 코너의 상대 내부임을 증명한다.
• 볼록 다면체 이론의 상한 정리를 적용하여 CH(X)의 각 차원의 면 수를 제한함으로써 접근 가능한 모델의 수를 제한한다.
• 진짜 모델 크기 k > n/2일 때 접근 가능한 모델 수가 가능한 서명된 모델 수보다 엄밀히 작음을 보여주어 진짜 모델 선택이 높은 확률로 불가능함을 유도함으로써 모델 선택 비일관성을 도출한다.

실험 결과

연구 질문

• RQ1 주어진 설계 행렬 X에 대해 라소가 선택할 수 있는 서명된 모델은 무엇인가?
• RQ2 라소가 접근할 수 있는 서로 다른 서명된 모델의 수는 얼마이며, 이 수는 설계 행렬에 어떻게 의존하는가?
• RQ3 왜 진짜 모델 크기가 관측 수의 절반을 초과할 경우 모델 선택이 비일관성이 발생하는가?
• RQ4 정규화 파rameter λ의 선택이 접근 가능한 모델 집합에 영향을 미치는가?
• RQ5 설계 행렬 X와 -X의 볼록 코일의 기하학적 구조가 라소의 모델 선택 행동을 완전히 특성화할 수 있는가?

주요 결과

• 접근 가능한 라소 모델의 집합은 정확히 설계 행렬과 그 부정의 볼록 코일, CH(X)의 면들에 대응한다.
• 크기가 k인 접근 가능한 모델의 수는 볼록 다면체 이론의 상한 정리에 의해 제한되며, 이는 CH(X)의 k차원 면의 수를 제한한다.
• 진짜 모델 크기 k가 n/2를 초과할 경우, 접근 가능한 모델 수는 크기가 k인 가능한 모든 서명된 모델 수보다 엄밀히 작으며, 이는 진짜 모델 선택이 불가능함을 의미한다.
• 모델 선택 비일관성은 λ의 선택 때문이 아니라 설계 행렬의 기하학적 성질에 기인하며, 모든 λ > 0에서 성립한다.
• 시뮬레이션 결과는 k ≈ n/2일 때 라소 성능이 심하게 악화되며, 선택 오류가 급격히 증가함을 확인하였으며, 이는 이론적 한계와 일치한다.
• 상관 구조를 가진 설계 행렬에서도 선택 오류는 상관 정도에 따라 약간 증가하지만, 핵심적인 비일관성 결과는 여전히 강건하다.