[논문 리뷰] Convexification of Permutation-Invariant Sets and Applications

Jinhak Kim, Mohit Tawarmalani외 1명|arXiv (Cornell University)|2019. 10. 07.

Sparse and Compressive Sensing Techniques참고 문헌 12인용 수 4

한 줄 요약

이 논문은 순열 및 부호 불변 집합에 대한 볼록화 기법을 제안하여 희소 최적화에서 더 날카운 가속을 가능하게 한다. 새로운 볼록 랩퍼를 유도하고, 희소 주성분 분석(Sparse PCA)의 공식을 개선하며, 외적 곱의 이론적 근사에서 이론적 갭의 95%를 메운다. 이는 0-1 논리 제약 조건에 대한 고전적 결과를 일반화한다.

ABSTRACT

We develop techniques to convexify a set that is invariant under permutation and/or change of sign of variables and discuss applications of these results. First, we convexify the intersection of the unit ball of a permutation and sign-invariant norm with a cardinality constraint. This gives a nonlinear formulation for the feasible set of sparse principal component analysis (Sparse PCA), and an alternative proof of the $K$-support norm. Second, we develop new relaxations for the exterior product of sparse vectors and show numerically that, on several problem instances, our relaxation closes 95% of the gap left by the relaxation in the literature. Third, we derive convex and concave envelopes of various permutation-invariant nonlinear functions and their level-sets over hypercubes, with congruent bounds on all variables. Finally, we study permutation-invariant sets in $0-1$ variables, including those that arise in the formulation of various logical requirements. For these models, we project the convex hull descriptions in the space of original variables, generalizing several classical results.

연구 동기 및 목표

• 변수의 순열 및 부호 변화에 대해 불변인 집합에 대한 볼록화 기법을 개발하기 위해.
• 특히 희소 주성분 분석(Sparse PCA)에서 사용되는 희소 최적화 문제에 대해 더 날카운 볼록 근사화를 제공하기 위해.
• 원래 변수 공간에서의 투영을 통해 0-1 논리 제약 조건에 대한 고전적 볼록껍데기 기술을 일반화하기 위해.
• 대칭 경계를 가진 초입방체 위에서 순열 불변 비선형 함수의 볼록 및 볼록 아래 랩퍼를 유도하기 위해.

제안 방법

• 순열 및 부호 불변 노름의 단위 구와 카디널리티 제약 조건의 교차를 볼록화하기 위해 대칭성 특성을 활용하기 위해.
• 대칭적 구조를 활용하여 희소 벡터의 외적 곱에 대한 비선형 볼록 근사화를 개발하기 위해.
• 대칭 경계를 사용하여 순열 불변 함수에 대한 볼록 및 볼록 아래 랩퍼를 초입방체 위에서 유도하기 위해.
• 0-1 순열 불변 집합의 볼록껍데기 기술을 래프팅된 공간에서 원래 변수 공간으로 투영하기 위해.
• 이러한 기법을 활용하여 대칭 집합의 볼록화를 기반으로 한 다른 증명을 통해 $K$-지원 노름을 재유도하기 위해.
• 기존 문헌과의 비교를 통해 이론적 갭을 분석함으로써 근사화 품질을 수치적으로 검증하기 위해.

실험 결과

연구 질문

• RQ1 순열 및 부호 불변 집합은 어떻게 볼록화되어 희소 최적화에서의 근사화를 향상시킬 수 있는가?
• RQ2 기존 방법과 비교해 볼 때, 희소 벡터의 외적 곱에 대한 볼록 근사화는 이론적 갭을 얼마나 메울 수 있는가?
• RQ3 대칭 초입방체 위에서 순열 불변 비선형 함수에 대한 가장 날카운 볼록 및 볼록 아래 랩퍼는 무엇인가?
• RQ4 0-1 순열 불변 집합의 볼록껍데기를 원래 변수 공간으로 어떻게 투영하여 고전적 결과를 일반화할 수 있는가?

주요 결과

• 시험 문제 예제에서 기존 문헌이 남긴 이론적 갭의 95%를 메우는, 희소 벡터의 외적 곱에 대한 제안된 근사화.
• 순열 및 부호 불변 노름의 단위 구와 카디널리티 제약 조건의 교차는 희소 주성분 분석(Sparse PCA)에 대한 비선형 볼록 공식화를 유도한다.
• 대칭 집합의 볼록화를 기반으로 한 다른 증명을 통해 $K$-지원 노름의 재유도가 이루어졌다.
• 일치하는 변수 경계를 가진 초입방체 위에서 다양한 순열 불변 함수에 대한 볼록 및 볼록 아래 랩퍼가 도출되었다.
• 0-1 논리 제약 조건에 대해 원래 변수 공간으로 볼록껍데기 기술을 투영함으로써 고전적 결과를 일반화하는 데 성공했다.
• 이 프레임워크는 다양한 대칭 최적화 문제에 대해 더 날카운 근사화를 가능하게 하여, 희소 및 조합 최적화 설정에서 해의 품질을 향상시켰다.