[논문 리뷰] Regularization vs. Relaxation: A conic optimization perspective of statistical variable selection

Hongbo Dong, Kun Chen외 1명|arXiv (Cornell University)|2015. 10. 20.

Sparse and Compressive Sensing Techniques참고 문헌 46인용 수 24

한 줄 요약

이 논문은 희소 변수 선택을 혼합정수이차계획문제(MIQP)로 간주하는 원뿔최적화 프레임워크를 제안하며, MCP와 역 Huber와 같은 인기 있는 비볼록 페널티가 투사적 완화의 특수한 경우임을 보여준다. 가장 날카운 완화는 볼록성과 ℓ₀-노름 근사의 균형을 이루는 정수형프로그래밍(SDP)이 되며, Goemans-Williamson 라운딩을 통해 효과적인 근사해를 제공하여 이전의 볼록 완화보다 날카운 완화와 해 품질에서 뛰어나다.

ABSTRACT

Variable selection is a fundamental task in statistical data analysis. Sparsity-inducing regularization methods are a popular class of methods that simultaneously perform variable selection and model estimation. The central problem is a quadratic optimization problem with an l0-norm penalty. Exactly enforcing the l0-norm penalty is computationally intractable for larger scale problems, so dif- ferent sparsity-inducing penalty functions that approximate the l0-norm have been introduced. In this paper, we show that viewing the problem from a convex relaxation perspective offers new insights. In particular, we show that a popular sparsity-inducing concave penalty function known as the Minimax Concave Penalty (MCP), and the reverse Huber penalty derived in a recent work by Pilanci, Wainwright and Ghaoui, can both be derived as special cases of a lifted convex relaxation called the perspective relaxation. The optimal perspective relaxation is a related minimax problem that balances the overall convexity and tightness of approximation to the l0 norm. We show it can be solved by a semidefinite relaxation. Moreover, a probabilistic interpretation of the semidefinite relaxation reveals connections with the boolean quadric polytope in combinatorial optimization. Finally by reformulating the l0-norm pe- nalized problem as a two-level problem, with the inner level being a Max-Cut problem, our proposed semidefinite relaxation can be realized by replacing the inner level problem with its semidefinite relaxation studied by Goemans and Williamson. This interpretation suggests using the Goemans-Williamson rounding procedure to find approximate solutions to the l0-norm penalized problem. Numerical experiments demonstrate the tightness of our proposed semidefinite relaxation, and the effectiveness of finding approximate solutions by Goemans-Williamson rounding.

연구 동기 및 목표

• 선형 회귀에서 희소 변수 선택을 ℓ₀-노름 페널티를 갖는 혼합정수이차계획문제(MIQP)로 재정의한다.
• 희소성 유도 페널티 함수(예: MCP, 역 Huber)와 볼록 완화, 특히 투사적 완화 사이의 관계를 분석한다.
• MIQP 공식화의 날카운 정수형완화를 개발하여 볼록성과 ℓ₀-노름에 대한 근사의 최적 균형을 이룬다.
• 제안된 완화와 불리안 퀼드릭폴리토프와 같은 조합 최적화 구조 사이의 연결 고리를 설정한다.
• 희소 회귀 문제의 Max-Cut 재구성에 대한 정수형완화를 활용한 실용적 해법 전략을 제안한다.

제안 방법

• 변수 선택을 이산 최적화 문제로 간주하여 ℓ₀-페널티 회귀 문제를 혼합정수이차계획문제(MIQP)로 공식화한다.
• 투사적 완화를 MIQP의 볼록 완화로 도입하여, MCP와 역 Huber 페널티가 모두 특수한 경우임을 보여준다.
• 최적의 투사적 완화를 최소화-최대화 문제로 유도하여 ℓ₀-노름에 대한 날카운 완화와 볼록성의 균형을 이루며, 이를 정수형프로그래밍(SDP)으로 해결할 수 있다.
• 희소 회귀 문제를 이중 최적화 문제로 재구성하여 내부 최적화는 Max-Cut 문제에 대응한다.
• 내부 Max-Cut 문제를 Goemans와 Williamson이 제안한 정수형완화로 대체하여 해석 가능한 외부 완화를 확보한다.
• 제안된 SDP 해에 대해 Goemans-Williamson 라운딩 절차를 적용하여 원래의 ℓ₀-페널티 문제에 대한 근사해를 생성한다.

실험 결과

연구 질문

• RQ1 널리 사용되는 비볼록 페널티 함수인 MCP와 역 Huber는 통합된 볼록 완화 프레임워크의 특수한 경우로 해석될 수 있는가?
• RQ2 ℓ₀-페널티 회귀 문제에 대해 가장 날카운 볼록 완화는 무엇이며, 이를 최소화-최대화 문제로 어떻게 공식화할 수 있는가?
• RQ3 제안된 정수형완화는 기존 볼록 완화(예: 역 Huber 완화)보다 날카운 정도에서 어떻게 비교되는가?
• RQ4 Goemans-Williamson 라운딩 절차는 정수형완화를 통한 희소 회귀 문제 근사해에 효과적으로 적용될 수 있는가?
• RQ5 제안된 SDP 완화를 풀이하는 데 있어 계산적 확장성은 어떻게 되며, 예측 변수 수 p에 따라 어떻게 변화하는가?

주요 결과

• 수치 실험을 통해 제안된 정수형완화가 역 Huber 페널티 기반 볼록 완화보다 훨씬 날카운 것으로 밝혀졌다.
• Goemans-Williamson 라운딩은 최적 목표값에 대한 상한을 제공하며, 평균적으로 알려진 최상의 상한(τ_UB)과 0.34% 이내에 머물며, λ와 μ 값이 높아질수록 상대 오차가 0.00%로 감소한다.
• p = 800일 때 DSDP를 사용해 SDP를 풀기 위한 평균 계산 시간은 약 279초로, 대규모 문제에 대한 확장성 문제를 보여준다.
• 정수형완화는 스케일링된 다변량 베르누이 랜덤 변수 위에서 모멘트 매칭 문제로 확률적으로 해석될 수 있으며, 조합 최적화의 불리안 퀸드릭폴리토프와 연결된다.
• 최소화-최대화 관점에서 볼록성과 ℓ₀-노름에 대한 근사 품질의 균형을 달성하여 히ュ리스틱 페널티 함수에 대한 원칙적인 대안을 제공한다.
• Goemans-Williamson 라운딩 절차는 일관되게 고품질의 해를 생성하며, 테스트된 사례에서 Gurobi가 60초 이상 실행된 후에도 향상된 결과를 보이지 않아, 히ュ리스틱으로서의 효과성을 시사한다.