[논문 리뷰] The Trimmed Lasso: Sparsity and Robustness

Dimitris Bertsimas, Martin S. Copenhaver외 1명|arXiv (Cornell University)|2017. 08. 15.

Sparse and Compressive Sensing Techniques참고 문헌 62인용 수 13

한 줄 요약

이 논문은 이산적 파라미터 k를 통해 정확한 스파arsity 제어를 가능하게 하는 비볼록 스파arsity 회귀 방법인 트리밍 라소(Trimmed Lasso)를 소개한다. 이는 정확히 k개의 비영성 계수를 선택할 수 있도록 한다. 이는 강건 최적화와 총 최소 제곱법(Total Least Squares)과의 연결을 수립하고, 표준 좌표별 분리 가능한 페널티보다 стрict한 포함 관계를 보이며, 정확한 해와 휴리스틱 해를 위한 효율적인 알고리즘을 제공한다. 이 알고리즘은 이론적 및 실험적으로 뛰어난 성능을 보인다.

ABSTRACT

Nonconvex penalty methods for sparse modeling in linear regression have been a topic of fervent interest in recent years. Herein, we study a family of nonconvex penalty functions that we call the trimmed Lasso and that offers exact control over the desired level of sparsity of estimators. We analyze its structural properties and in doing so show the following: 1) Drawing parallels between robust statistics and robust optimization, we show that the trimmed-Lasso-regularized least squares problem can be viewed as a generalized form of total least squares under a specific model of uncertainty. In contrast, this same model of uncertainty, viewed instead through a robust optimization lens, leads to the convex SLOPE (or OWL) penalty. 2) Further, in relating the trimmed Lasso to commonly used sparsity-inducing penalty functions, we provide a succinct characterization of the connection between trimmed-Lasso- like approaches and penalty functions that are coordinate-wise separable, showing that the trimmed penalties subsume existing coordinate-wise separable penalties, with strict containment in general. 3) Finally, we describe a variety of exact and heuristic algorithms, both existing and new, for trimmed Lasso regularized estimation problems. We include a comparison between the different approaches and an accompanying implementation of the algorithms.

연구 동기 및 목표

• 표준 라소의 간접적인 스파arsity 제어 방식을 넘어서, 이산적 파라미터 k를 통해 비영성 계수의 수를 정확히 제어할 수 있는 스파arsity 회귀 방법을 개발하는 것.
• 트리밍 라소와 강건 최적화 사이의 이론적 및 알고리즘적 연결을 수립하여, 특히 불확실성 하에서 총 최소 제곱법과의 연결 고리를 밝혀내는 것.
• 트리밍 라소 페널티가 일반적으로 사용되는 좌표별 분리 가능한 페널티(예: 라소, SCAD, MCP)를 엄격히 포함하고 있음을 보여주어 더 큰 모델링의 유연성을 제공하는 것.
• 정확한 해와 휴리스틱 해를 위한 효율적인 알고리즘 설계 및 구현을 통해 계산 복잡도 분석과 실험적 검증을 수행하는 것.

제안 방법

• 트리밍 라소 페널티 Tk(β) = ∑_{i=k+1}^p |β_{(i)}| 를 제안하며, 이는 β의 p−k개의 절댓값이 가장 작은 성분들의 합으로 정의되며, k를 통해 스파arsity를 직접 제어할 수 있도록 한다.
• 트리밍 라소 문제를 min_β (1/2)‖y−Xβ‖²₂ + λTk(β) 로 재구성하여, 충분히 큰 λ에 대해 해가 정확히 k개의 비영성 계수를 가진 최적의 부분집합 선택(1)을 복원함을 보여준다.
• 동일한 불확실성 모델이 트리밍 라소(비볼록)와 SLOPE/OWL(볼록) 페널티를 유도함을 보여, 트리밍 라소와 강건 최적화 사이의 이중성(duality)을 수립한다.
• 활성집합 방법과 최적성 조건을 활용하여 정확한 알고리즘을 개발하며, 트리밍 라소 페널티의 부분미분계수가 분리 가능한 페널티보다 엄격히 클 수 있음을 활용한다.
• 직교 설계의 경우, 두 단계 최적화를 통해 닫힌 형태의 해를 유도한다: k개의 가장 큰 성분을 식별하고, 나머지 성분들을 소프트 스레시홀딩한다.
• 일반적인 설계 행렬에 대해 교대 최소화(Alternating Minimization)와 ADMM를 활용하며, 수렴 보장과 각 반복의 계산 복잡도가 O(p log p + np) 이내로 제한된다.

실험 결과

연구 질문

• RQ1 비볼록 페널티를 설계하여 스파arsity 회귀에서 비영성 계수의 수를 정규화 파라미터와 독립적으로 정확히 제어할 수 있는가?
• RQ2 구조적 불확실성 하에서 트리밍 라소는 강건 최적화와 총 최소 제곱법과 어떻게 관련이 있는가?
• RQ3 트리밍 라소는 라소, SCAD, MCP와 같은 좌표별 분리 가능한 페널티를 어떻게 엄격하게 일반화하는가?
• RQ4 정확하거나 근사적으로 트리밍 라소 문제를 해결할 수 있는 효율적인 알고리즘을 어떻게 설계할 수 있는가? 특히 유리한 계산 복잡도를 확보할 수 있는가?
• RQ5 실험적으로 트리밍 라소는 표준 스파arsity 방법과 비교해 스파arsity, 추정 정확도, 강건성 측면에서 어떻게 성능을 발휘하는가?

주요 결과

• 트리밍 라소 페널티 Tk(β) 는 이산적 파arameter k를 통해 스파arsity를 정확히 제어할 수 있으며, 충분히 큰 λ에 대해 식 (4)의 해는 정확히 최적의 부분집합 선택 해(1)를 복원한다.
• 특정 불확실성 모델 하에서 트리밍 라소 문제는 총 최소 제곱법의 강건 최적화 공식과 동치임을 보여, 스파arsity 회귀와 강건 최적화 사이에 새로운 연결 고리를 수립한다.
• 트리밍 라소 페널티는 모든 좌표별 분리 가능한 페널티(예: 라소, MCP, SCAD)를 엄격히 포함하며, 일반적으로 부분미분계수에 포함되지 않는 사례가 존재함으로써 엄격한 포함 관계가 성립함을 입증한다.
• 활성집합 방법과 최적성 조건을 활용하여, 반복당 O(p log p + np) 시간 내에 트리밍 라소 문제를 정확히 해결하는 알고리즘을 제안한다.
• 직교 설계의 경우, 닫힌 형태의 해가 유도된다: γ∗_i = α_i 이면 i가 α의 k개의 가장 큰 성분 중 하나이고, 그렇지 않으면 γ∗_i = soft_{λ/σ}(α_i)이며, 여기서 soft 는 소프트 스레시홀딩 연산자이다.
• 합성 데이터에 대한 실험 결과, ADMM와 교대 최소화 알고리즘이 안정적으로 수렴하며, 100개의 인스턴스에서 기하 평균 목표 함수 갭이 최적값의 1% 이내로 유지됨을 확인하였다.