[논문 리뷰] Ideal formulations for constrained convex optimization problems with indicator variables

Linchuan Wei, Andrés Gómez외 1명|arXiv (Cornell University)|2020. 06. 30.

Sparse and Compressive Sensing Techniques참고 문헌 57인용 수 6

한 줄 요약

이 논문은 지표 변수와 조합 제약 조건을 가진 희소 회귀 문제를 위한 통합된 볼록화 기법을 제안하며, 임의의 다면체 제약 조건 하에서 볼록 함수와 애프린 함수의 복합 함수의 에피그래프에 대해 이상적인 포지션을 유도한다. 주요 기여는 기존의 퍼스펙티브 재구성 결과를 일반화하고 더 타이트한 리 릿지 허용을 가능하게 하는 폐쇄형 볼록 껍질 기술로, 계산 실험에서 상당한 계산 오버헤드 없이 하한을 크게 향상시킨다.

ABSTRACT

Motivated by modern regression applications, in this paper, we study the convexification of a class of convex optimization problems with indicator variables and combinatorial constraints on the indicators. Unlike most of the previous work on convexification of sparse regression problems, we simultaneously consider the nonlinear non-separable objective, indicator variables, and combinatorial constraints. Specifically, we give the convex hull description of the epigraph of the composition of a one-dimensional convex function and an affine function under arbitrary combinatorial constraints. As special cases of this result, we derive ideal convexifications for problems with hierarchy, multi-collinearity, and sparsity constraints. Moreover, we also give a short proof that for a separable objective function, the perspective reformulation is ideal independent from the constraints of the problem. Our computational experiments with regression problems under hierarchy constraints on real datasets demonstrate the potential of the proposed approach in improving the relaxation quality without significant computational overhead.

연구 동기 및 목표

• 지표 변수에 대한 임의의 조합 제약 조건 하에서 볼록 함수와 애프린 함수의 복합 함수의 에피그래프에 대해 이상적인 볼록 껍질 포지션을 개발하는 것.
• 기존의 퍼스펙티브 재구성 결과를 분리 가능하거나 이차 목표 함수, 카디널리티와 같은 단순한 제약 조건을 넘어서 일반화하는 것.
• 비분리, 비선형, 제약 조건이 있는 희소 회귀 문제에 대한 이상 포지션의 격차를 메우는 것.
• 현대 회귀 응용 분야를 위한 혼합정수콘릭 최적화에서 볼록 리 릿지의 품질을 향상시키는 것.
• 계층, 다중공선성, 희소성, 그룹 선택 제약 조건 등에 적용 가능한 통합 프레임워크를 제공하는 것.

제안 방법

• 지표 제약 조건 $ \beta_i(1 - z_i) = 0 $ 와 $ z \in Q \subseteq \{0,1\}^p $ 하에서 $ f(h^\top \beta) \leq t $ 의 에피그래프로 정의된 집합 $ Z_Q $ 의 볼록 껍질 기술을 유도한다.
• 임의의 다면체 제약 조건을 가진 $ z $ 에 대해, 임의의 일변도 볼록 함수 $ f $ 에 대해 볼록 껍질의 일반적인 폐쇄형 표현을 확립한다.
• 특정 제약 조건(희소성, 계층(강한 및 약한), 다중공선성, 그룹 선택)에 대해 일반 결과를 적용하여 이상 포지션을 도출한다.
• 퍼스펙티브 재구성 기법이 제약 조건이 존재하더라도 분리 가능한 볼록 목표 함수에 대해 이상적임을 짧은 증명을 통해 보여주며, 이는 이전 결과를 확장한다.
• 유도된 포지션을 활용해 혼합정수콘릭 최적화에서 볼록 리 릿지의 강도를 높이며, 특히 희소 로지스틱 회귀에 대해 유의미하다.
• 합성 데이터셋을 활용한 계산 실험을 통해 자연 리 릿지(log-nat)와 제안된 재구성(log-rko)의 하한을 비교한다.

실험 결과

연구 질문

• RQ1 지표 변수에 대한 임의의 조합 제약 조건 하에서 비분리, 비선형 볼록 함수와 애프린 함수의 복합 함수의 에피그래프에 대해 이상적이고 폐쇄형 볼록 껍질 기술을 도출할 수 있는가?
• RQ2 조합 제약 조건이 존재할 경우, 퍼스펙티브 재구성 기법이 분리 가능한 볼록 목표 함수에 대해 여전히 이상적인가?
• RQ3 제안된 이상 포지션은 복잡한 제약 조건이 있는 희소 회귀 문제에서 리 릿지 품질을 어떻게 향상시키는가?
• RQ4 정규화 강도와 데이터의 희소성은 제안된 포지션으로부터 하한 향상에 어떤 영향을 미치는가?
• RQ5 제안된 프레임워크는 카디널리티, 계층, 다중공선성 제약 조건에 대한 기존의 퍼스펙티브 재구성 결과를 통합하고 일반화할 수 있는가?

주요 결과

• 제안된 방법은 $ z $ 에 대한 임의의 다면체 제약 조건 하에서 $ f(h^\top \beta) \leq t $ 의 에피그래프에 대해 폐쇄형 볼록 껍질 기술을 제공하며, 이는 이전 결과를 일반화한다.
• 분리 가능한 볼록 목표 함수의 경우, 제약 집합 $ Q $ 와 무관하게 퍼스펙티브 재구성 기법이 이상적임을 증명하며, 알려진 결과를 확장한다.
• 제안된 log-rko 리 릿지의 하한은 자연 리 릿지(log-nat)보다 최소 16% 높으며, 희소 케이스에서는 최대 100%까지 향상된다.
• 특히 $ \alpha = 0.01 $ 이고 $ \lambda \geq 0.5 $ 일 경우, log-rko는 하한이 1에 매우 가까워지며, 이는 일반적으로 최적 해가 $ \beta = \mathbf{0} $ 임을 증명할 수 있음을 시사한다.
• 자연 리 릿지가 약한 경우($ n \leq p $)와 $ \lambda $ 가 클 때, 즉 희소성이 지배적인 경우에 개선 효과가 가장 두드러진다.
• 희소 로지스틱 회귀 실험을 통해 계산 오버헤드 없이 리 릿지 품질을 향상시킴을 입증하였다.