[논문 리뷰] Screening Rules for Convex Problems

Anant Raj, Jakob Olbrich외 3명|arXiv (Cornell University)|2016. 09. 23.

Sparse and Compressive Sensing Techniques인용 수 5

한 줄 요약

이 논문은 볼록 최적화에서 안전하고 동적 스크리닝 규칙을 유도하기 위한 일반적인 이중성 기반 프레임워크를 제안한다. 이는 최적화 이전이나 도중에 중요하지 않은 변수를 식별하고 제거할 수 있도록 한다. 이중성 간격과 볼록성 성질을 활용함으로써, Lasso, 엘라스틱 넷, 서포트 벡터 머신(SVMs), 그룹 라소 등 다양한 펜라이즈드 및 제약 조건이 있는 문제에 광범위하게 적용 가능하며, 새로운 통합된 스크리닝 규칙을 도출한다. 이러한 규칙들은 증명 가능하게 안전하고 계산적으로 효율적이다.

ABSTRACT

We propose a new framework for deriving screening rules for convex optimization problems. Our approach covers a large class of constrained and penalized optimization formulations, and works in two steps. First, given any approximate point, the structure of the objective function and the duality gap is used to gather information on the optimal solution. In the second step, this information is used to produce screening rules, i.e. safely identifying unimportant weight variables of the optimal solution. Our general framework leads to a large variety of useful existing as well as new screening rules for many applications. For example, we provide new screening rules for general simplex and $L_1$-constrained problems, Elastic Net, squared-loss Support Vector Machines, minimum enclosing ball, as well as structured norm regularized problems, such as group lasso.

연구 동기 및 목표

• 패널라이즈드 및 제약 조건이 있는 문제를 포함한 광범위한 볼록 최적화 문제 클래스에 적용 가능한 일반적이고 통합된 스크리닝 규칙 유도 프레임워크를 개발하는 것.
• 정규화 경로에 의존하는 기하학적 특성 기반의 스크리닝 방법을 대체하여, 정규화 파rameter에 민감하지 않고 어떤 반복 최적화 알고리즘에도 적용 가능한 이중성 기반 접근법을 제안하는 것.
• 최적화 반복 과정 중에 적용 가능한 동적 스크리닝을 가능하게 하기 위해 이중성 간격 추정치를 활용하여 최적성의 손실 없이 변수를 안전하게 제거하는 것.
• 기존의 Lasso, 그룹 라소, SVMs 등의 스크리닝 규칙을 복원하고 일반화하는 것과 함께, 기존에 스크리닝이 어려웠던 문제들(예: 일반 단체형 및 L1-제약 조건 문제)에 대해 새로운 규칙을 도출하는 것.
• 기하학적 구조에 의존하지 않고 부드러움과 강한 볼록성 등의 일반적인 볼록 해석학 개념을 사용하여 스크리닝 조건을 표현하는 것.

제안 방법

• 프리미얼 및 이중 해 사이의 이중성 간격을 사용하여 현재 이중 반복값과 진정한 최적 이중 해 사이의 거리를 제한한다.
• 최적성 조건을 기반으로 한 스크리닝 규칙을 제안한다: 만약 어떤 변수의 이중 하위기울기 크기가 이중성 간격에서 유도된 임계값 이하이면, 해당 프리미얼 변수는 반드시 0이 된다는 보장을 한다.
• 그룹 구조가 있는 문제의 경우, 그룹 별 계수의 이중 노름과 이중성 간격을 사용하여 스크리닝 규칙을 유도하며, 이는 그룹의 이중 벡터 노름과 간격을 포함하는 조건이 된다.
• 프리미얼-이중 쌍의 구조를 활용하고 펜첼 이중성을 사용하여 최적성 조건을 도출함으로써, 패널라이즈드 문제와 제약 조건이 있는 문제 모두에 적용 가능하다.
• 현재 이중 반복값을 사용하여 반복마다 스크리닝 임계값을 업데이트함으로써 동적 스크리닝을 도입하며, 최적화 과정 중에 점진적으로 문제 크기를 줄일 수 있다.
• 고정된 기하학적 경계에 의존하지 않고 현재 이중 반복값을 구의 중심으로 사용하고 이중성 간격으로 반지름을 유도함으로써, 구 테스트 기반 스크리닝을 일반화한다.

실험 결과

연구 질문

• RQ1 볼록 이중성과 이중성 간격 정보만을 사용하여 광범위한 볼록 최적화 문제에 대해 스크리닝 규칙을 체계적으로 도출할 수 있는가?
• RQ2 정규화 경로에 의존하지 않고 어떤 반복 최적화 알고리즘에도 적용 가능한 동적이고 안전한 스크리닝 규칙를 만들 수 있는가?
• RQ3 Lasso, 그룹 라소, SVMs 등의 기존 스크리닝 규칙을 하나의 이중성 기반 프레임워크로 통합하고 일반화할 수 있는가?
• RQ4 부드러움과 강한 볼록성이 기하학적 가정에 의존하지 않고 일반적인 스크리닝 조건을 도출하는 데 어떤 역할을 하는가?
• RQ5 기존에 스크리닝이 어려웠던 문제들(예: 일반 단체형 및 L1-제약 조건 문제)에 대해 새로운 스크리닝 규칙를 도출할 수 있는가?

주요 결과

• 제안된 프레임워크는 이전에 기존 방법으로는 스크리닝이 어려웠던 일반 단체형 및 L1-제약 조건 문제에 대해 새로운 스크리닝 규칙를 도출한다.
• Lasso, 엘라스틱 넷, 제곱 손실 SVM, 최소 봉투 구, 그룹 라소에 대한 기존 스크리닝 규칙를 통합적으로 유도하며, 이들이 일반 프레임워크의 특수한 경우임을 보여준다.
• 그룹 라소의 스크리닝 규칙은 $\|\bm{a}^{(g)\top}W\|_2 < \lambda - \|\bm{a}^{(g)}\|_2 \|W - W^\star\|_2 \Rightarrow \bm{x}_g^\star = 0$ 로 주어지며, 여기서 $W$ 는 현재 이중 반복값이고 $W^\star$ 는 최적 이중 해이다.
• L-립시츠 연속인 기울기를 가진 문제의 경우, 규칙는 $\|\bm{a}^{(g)\top}W\|_2 < \lambda - \|\bm{a}^{(g)}\|_2 \sqrt{2L \, G(X)}$ 로 변형되며, 여기서 $G(X)$ 는 이중성 간격이다.
• 현재 이중 반복값을 중심으로 하고 이중성 간격으로 반지름을 제한함으로써, 구 테스트 기반 스크리닝을 일반화하여 동적이고 안전한 스크리닝을 가능하게 한다.
• 이 프레임워크는 Ndiaye 등(2015)과 Zimmert 등(2015)의 이전 결과를 복원하고 일반화하며, 분리 가능하지 않은 더 일반적인 목표 함수로 확장한다.