[논문 리뷰] Bounding Duality Gap for Problems with Separable Objective

Madeleine Udell, Stephen Boyd|arXiv (Cornell University)|2014. 10. 15.

Complexity and Algorithms in Graphs참고 문헌 42인용 수 14

한 줄 요약

이 논문은 분리 가능한 목적이 있고 선형 제약 조건이 있는 비볼록 최적화 문제에 대해, 볼록화된 버전을 이용해 해를 근사하기 위한 랜덤화 알고리즘을 제안한다. 볼록 봉우리(convex envelopes)를 사용하여 문제를 볼록화하고, 제약 조건의 수에만 비례하는, 문제 크기와 무관한 날카운 둔도 갭(duality gap)의 상한을 확립한다. 이는 $\backslash$backslash$\varepsilon$-하위최적성(suboptimality)을 보장하는 구성적이고 자가 포함된 증명을 제공한다.

ABSTRACT

We consider the problem of minimizing a sum of non-convex functions over a compact domain, subject to linear inequality and equality constraints. Approximate solutions can be found by solving a convexified version of the problem, in which each function in the objective is replaced by its convex envelope. We propose a randomized algorithm to solve the convexified problem which finds an $\epsilon$-suboptimal solution to the original problem. With probability one, $\epsilon$ is bounded by a term proportional to the number of constraints in the problem. The bound does not depend on the number of variables in the problem or the number of terms in the objective. In contrast to previous related work, our proof is constructive, self-contained, and gives a bound that is tight.

연구 동기 및 목표

• 비볼록 함수들의 합을 컴act 도메인 위에서 선형 제약 조건이 있는 조건에서 최소화하는 문제에 대응하는 것.
• 이러한 문제에 대해 둔도 갭에 대한 날카운 구성적 상한을 제공하는 방법을 개발하는 것.
• 근사 오차($\varepsilon$)가 변수의 수나 목표 항의 수에 의존하지 않도록 보장하는 것.
• 둔도 갭 상한에 대한 구성적이고 자가 포함된 증명을 제공하여 이전의 비구성적 또는 느슨한 결과들을 향상시키는 것.

제안 방법

• 목적 함수 내의 각 비볼록 함수를 그 볼록 봉우리로 대체하여 볼록화된 문제를 만드는 것.
• 볼록화된 문제를 효율적으로 해결하기 위한 랜덤화 알고리즘을 설계하는 것.
• 알고리즘의 출력 결과가 원래 비볼록 문제에 대해 확률 1로 $\varepsilon$-하위최적임을 보장하는 것.
• 둔도 갭 상한은 제약 조건의 수에만 의존하며, 변수나 목표 항의 수에 따라 달라지지 않는 방식으로 구성적으로 유도된다.
• 증명 기법은 외부 가정이나 이전의 상한에 의존하지 않고 자가 포함된 방식이다.
• 상한 $\varepsilon$가 날카로우며, 문제 차원성이나 함수의 수에 대한 의존성이 없음을 보여주는 것.

실험 결과

연구 질문

• RQ1 랜덤화 알고리즘이 선형 제약 조건이 있는 비볼록 분리 문제에 대해 $\varepsilon$-하위최적 해를 달성할 수 있는가?
• RQ2 제약 조건의 수에만 의존하는 둔도 갭에 대해 가능한 가장 날카로운 상한은 무엇인가?
• RQ3 이러한 문제에 대해 둔도 갭 상한에 대한 구성적이고 자가 포함된 증명을 어떻게 개발할 수 있는가?
• RQ4 변수의 수나 목표 항의 수에 관계없이 둔도 갭 상한을 확보하는 것이 가능한가?

주요 결과

• 둔도 갭은 제약 조건의 수에 비례하는 항으로 제한되며, 변수의 수나 목표 항의 수에 의존하지 않는다.
• $\varepsilon$의 상한은 날카로우며, 추가 가정 없이도 향상시킬 수 없다.
• 랜덤화 알고리즘이 확률 1로 $\varepsilon$-하위최적 해를 달성한다.
• 증명은 구성적이고 자가 포함되어 있으며, 이전의 비구성적 접근 방식과는 달리 그렇지 않다.
• 해의 품질은 문제의 크기(변수나 함수의 수)에 관계없이 제약 조건의 구조에만 의존한다.
• 이 방법은 실용적이고 이론적으로 타당한 비볼록 최적화 문제의 근사 방법을 제공하며, 오차 상한이 보장된다.