[논문 리뷰] Binary Optimization via Mathematical Programming with Equilibrium Constraints

Ganzhao Yuan, Bernard Ghanem|arXiv (Cornell University)|2016. 08. 15.

Optimization and Search Problems참고 문헌 69인용 수 36

한 줄 요약

이 논문은 이중 프로그래밍 문제를 위한 새로운 연속 최적화 프레임워크를 제안한다. 수학적 프로그래밍과 평형 제약 조건(MPEC)을 사용하여, 양측 볼록 문제로 재구성된 비선형 등식 제약 조건을 통해 이중 문제를 다룬다. 저자들은 순차적 볼록 완화를 통해 최적 해에 수렴하는 정확한 페널티와 교차 방향 방법 두 가지를 개발하였으며, 다양한 응용 분야에서 기존 기법들보다 뛰어난 해의 품질을 달성한다.

ABSTRACT

Binary optimization is a central problem in mathematical optimization and its applications are abundant. To solve this problem, we propose a new class of continuous optimization techniques which is based on Mathematical Programming with Equilibrium Constraints (MPECs). We first reformulate the binary program as an equivalent augmented biconvex optimization problem with a bilinear equality constraint, then we propose two penalization/regularization methods (exact penalty and alternating direction) to solve it. The resulting algorithms seek desirable solutions to the original problem via solving a sequence of linear programming convex relaxation subproblems. In addition, we prove that both the penalty function and augmented Lagrangian function, induced by adding the complementarity constraint to the objectives, are exact, i.e., they have the same local and global minima with those of the original binary program when the penalty parameter is over some threshold. The convergence of both algorithms can be guaranteed, since they essentially reduce to block coordinate descent in the literature. Finally, we demonstrate the effectiveness and versatility of our methods on several important problems, including graph bisection, constrained image segmentation, dense subgraph discovery, modularity clustering and Markov random fields. Extensive experiments show that our methods outperform existing popular techniques, such as iterative hard thresholding, linear programming relaxation and semidefinite programming relaxation.

연구 동기 및 목표

• 컴퓨터 시각 및 머신 러닝 분야에서 NP-완전한 성질을 가진 이중 최적화 문제를 해결하기 위해 연속적이고 수렴 가능한 알고리즘을 개발한다.
• 기존의 타협된 경계로 인해 최적 해가 아닌 해를 제공하는 경향이 있는 전통적 완화 기법들(LP, SDP 등)의 한계를 극복한다.
• 이중 프로그래밍을 위한 MPEC 이론에 기반한 새로운 정확한 페널티 및 교차 방향 방법의 클래스를 수립한다.
• 다양한 실제 문제들에서 제안된 방법의 효과성과 계산 효율성을 입증한다.
• 페널티 및 증강 라그랑주 수식의 수렴성과 정확성에 대한 이론적 보장을 제공한다.

제안 방법

• 이중 제약 조건을 최적화 구조에 통합하기 위해, 비선형 등식 제약 조건을 가진 등가의 이중 볼록 최적화 문제로 이중 프로그래밍을 재구성한다.
• 보완 제약 조건을 목적 함수에 추가하여 전역 최소값과 국소 최소값이 동일해지는 정확한 페널티 방법(MPEC-EPM)을 적용하며, 페널티 매개수가 임계값을 초과할 경우 수렴 보장이 이루어진다.
• 증강 라그랑주 수식을 사용하여 MPEC를 해결하기 위한 교차 방향 방법(MPEC-ADM)을 활용하며, 이중 변수 갱신을 통해 수렴을 보장한다.
• 결과로 발생하는 부분 문제들은 볼록 완화를 통해 해결하며, 상대 수렴 허용 오차 $10^{-5}$를 가진 프록시 그래디언트 강하법를 사용한다.
• 밀도 높은 하위그래프 및 클러스터링 작업에서 제약 조건이 제한된 단-simplex 형태인 투영 부분 문제를 효율적으로 해결하기 위해 절점 탐색 알고리즘을 사용한다.
• 두 방법 모두 적응형 페널티 매개수 갱신 전략을 사용하며, MPEC-EPM의 경우 $\rho^0 = 0.01$, MPEC-ADM의 경우 $\alpha^0 = 0.001$를 사용하고, 둘 다 $\sigma = \sqrt{10}$을 사용한다.

실험 결과

연구 질문

• RQ1 기존의 LP나 SDP 완화 기법들과 비교해 볼 때, MPEC 기반 재구성은 이중 최적화 문제에 대해 더 날카롭고 정확한 연속적 완화를 제공할 수 있는가?

주요 결과

• MPEC 수식에 의해 유도된 정확한 페널티 함수와 증강 라그랑주 함수는 페널티 매개수가 임계값을 초과할 경우 원래의 이중 프로그래밍 문제와 동일한 전역 최소값과 국소 최소값을 가진다.
• MPEC-EPM과 MPEC-ADM는 모두 단조적으로 수렴하며, 문헌상 블록 좌표 강하법과의 동치성에 의해 수렴이 보장된다.
• 제안된 방법들은 모든 테스트 문제에서 반복적 하드 스레셔딩, 선형 프로그래밍 완화, 그리고 준형 제약 조건 프로그래밍 완화보다 해의 품질에서 뛰어나다.
• 'dblp-2011'(100만 개 노드, 700만 개 간선)와 같은 대규모 데이터셋에서도 두 방법 모두 15분 이내에 종료되어 실용적인 계산 효율성을 보여준다.
• MPEC-EPM과 MPEC-ADM는 LP보다 수십 배는 느리지만, 반복마다 여러 번의 LP 호출이 발생하기 때문에 L2box-ADMM와 유사한 계산 복잡도를 가지며, 모든 방법이 유사한 계산 복잡도를 가진다.
• 다양한 데이터셋(karate, dolphins, jazz 등)에서 밀도 높은 하위그래프 탐색의 수렴 곡선을 보면 목적 함수 값이 단조롭게 감소함을 확인하였으며, 이는 페널티 및 ADMM 기반 수렴 기법의 효과성을 입증한다.