[논문 리뷰] Solution Uniqueness of Convex Piecewise Affine Functions Based Optimization with Applications to Constrained $\ell_1$ Minimization

Seyedahmad Mousavi, Jinglai Shen|arXiv (Cornell University)|2017. 11. 16.

Sparse and Compressive Sensing Techniques참고 문헌 16인용 수 13

한 줄 요약

이 논문은 일반적인 다면체 제약 조건 하에서 볼록 조각별 애핀(PA) 함수를 포함하는 볼록 최적화 문제에서 해의 유일성에 대한 이변수 기반 필수 및 필요조건을 수립한다. PA 함수의 최대값 표현식(max-formulation)과 볼록 해석학을 활용하여, 기저 추적(basis pursuit), LASSO, Dantzig 선택기 등 ℓ1 최소화 문제에 적용 가능한 통합적이고 검증 가능한 유일성 조건을 유도한다. 이는 이전 연구에서 제기된 제약 조건을 제거한 효과적인 선형 프로그래밍 기반 검증 기법을 포함한다.

ABSTRACT

In this paper, we study the solution uniqueness of an individual feasible vector of a class of convex optimization problems involving convex piecewise affine functions and subject to general polyhedral constraints. This class of problems incorporates many important polyhedral constrained $\ell_1$ recovery problems arising from sparse optimization, such as basis pursuit, LASSO, and basis pursuit denoising, as well as polyhedral gauge recovery. By leveraging the max-formulation of convex piecewise affine functions and convex analysis tools, we develop dual variables based necessary and sufficient uniqueness conditions via simple and yet unifying approaches; these conditions are applied to a wide range of $\ell_1$ minimization problems under possible polyhedral constraints. An effective linear program based scheme is proposed to verify solution uniqueness conditions. The results obtained in this paper not only recover the known solution uniqueness conditions in the literature by removing restrictive assumptions but also yield new uniqueness conditions for much broader constrained $\ell_1$-minimization problems.

연구 동기 및 목표

• 일반적인 다면체 제약 조건 하에서 ℓ1 최소화 문제에 대한 일반적인 해의 유일성 조건 부족 문제를 해결하기 위해.
• 선형 부등식 제약 조건을 가진 볼록 조각별 애핀(PA) 최적화 문제에서 해의 유일성을 분석하는 통합적 프레임워크를 개발하기 위해.
• 이중 변수를 사용하여 개별 타당 벡터의 유일성에 대한 필요 및 충분 조건을 제공하기 위해.
• 기존의 기저 추적, LASSO, BPDN에 대한 유일성 결과를 제약 조건 없이 일반화하기 위해.
• 유일성 조건을 검증하기 위한 효율적인 선형 프로그래밍 기반 검증 기법을 제안하기 위해.

제안 방법

• 유일성 조건 유도를 단순화하고 통합하기 위해 볼록 PA 함수의 최대값 표현식을 활용한다.
• 특히 정규 쌍봉(normal cones)과 쌍대성 이론을 포함한 볼록 해석학 도구를 적용하여 이중 변수 기반 조건을 유도한다.
• 일련의 방정식과 부등식을 만족하는 특정 이중 증명서의 존재를 통해 필요 및 충분 조건을 도출한다.
• 편미분 기반 재구성 기법을 사용하여 엄격한 부등식 조건을 해가 존재하는 선형 프로그래밍 문제로 변환한다.
• 명시적인 타당성 및 양수 조건을 포함한 선형 프로그래밍으로 유일성 검증을 체계적으로 설정한다.
• 일반적인 선형 부등식 제약 조건 하에서 기저 추적, LASSO, BPDN, Dantzig 선택기 등 ℓ1 최소화 문제에 이 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 다면체 제약 조건 하에서 볼록 PA 최적화 문제의 타당해에 대한 유일성에 대한 필요 및 충분 조건은 무엇인가?
• RQ2 이중 변수를 어떻게 사용하여 통합적이고 계산적으로 실현 가능한 방식으로 해의 유일성을 특성화할 수 있는가?
• RQ3 제안된 프레임워크는 기저 추적 및 LASSO와 같은 기존의 ℓ1 최소화 문제에 대한 알려진 유일성 조건을 회복하고 일반화할 수 있는가?
• RQ4 유일성 기준에 포함된 엄격한 부등식 조건은 실무적으로 어떻게 효과적으로 검증할 수 있는가?
• RQ5 제안된 선형 프로그래밍 기반 검증 기법을 사용하여 해의 유일성을 검증할 경우의 계산 복잡도는 얼마인가?

주요 결과

• 이 논문은 이전 결과보다 더 단순하고 일반적인 형태의 이중 변수 기반 필요 및 충분 조건을 도출하여 해의 유일성을 보장한다.
• 기존의 전 Rank 또는 비일관성 조건과 같은 제약 조건 없이, 기저 추적, LASSO, BPDN에 대한 알려진 유일성 결과를 모두 회복한다.
• 엄격한 부등식 검사를 해가 존재하는 선형 프로그래밍 문제로 변환하는 새로운 선형 프로그래밍 기반 검증 기법을 개발하였다.
• 일반적인 선형 부등식 제약 조건 하에서 스파arsity 퓌스드 LASSO 및 Dantzig 선택기와 같은 넓은 범위의 ℓ1 최소화 문제에 이 프레임워크를 적용할 수 있다.
• 현대적인 LP 솔버를 사용할 경우 검증 복잡도가 O(N^3 / log N)로 나타나, 희소 문제에 대해 계산적으로 효율적임을 입증하였다.
• 기존의 접근 방식이 제약 조건으로 인해 실패할 수 있는 고차원 설정에서도 효과적인 유일성 검증이 가능하다.