[論文レビュー] Bounding Duality Gap for Problems with Separable Objective

Madeleine Udell, Stephen Boyd|arXiv (Cornell University)|Oct 15, 2014

Complexity and Algorithms in Graphs参考文献 42被引用数 14

ひとこと要約

この論文は、分離可能な目的関数と線形制約をもつ非凸最適化問題の近似解を求めるための確率的アルゴリズムを提案する。非凸関数を凸包で置き換えた凸化問題を解くことで、問題のサイズに依存しないきめの細かい双対ギャップの境界を確立し、$\backslash$backslash$\backslash$epsilon$-部分最適性を保証する構成的かつ自己完結的な証明を提供する。

ABSTRACT

We consider the problem of minimizing a sum of non-convex functions over a compact domain, subject to linear inequality and equality constraints. Approximate solutions can be found by solving a convexified version of the problem, in which each function in the objective is replaced by its convex envelope. We propose a randomized algorithm to solve the convexified problem which finds an $\epsilon$-suboptimal solution to the original problem. With probability one, $\epsilon$ is bounded by a term proportional to the number of constraints in the problem. The bound does not depend on the number of variables in the problem or the number of terms in the objective. In contrast to previous related work, our proof is constructive, self-contained, and gives a bound that is tight.

研究の動機と目的

• コンpact領域に線形制約をもつ非凸関数の和を最小化するという課題に対処すること。
• このような問題に対して、双対ギャップのきめの細かい構成的境界を提供する手法を開発すること。
• 近似誤差（$\epsilon$）が変数の数や目的関数の項の数に依存しないようにすること。
• 双対ギャップの境界に関する自己完結的証明を提供し、従来の非構成的または緩い結果を改善すること。

提案手法

• 目的関数内の各非凸関数をその凸包に置き換えることで、凸化問題を構築する。
• 凸化問題を効率的に解くための確率的アルゴリズムを設計する。
• アルゴリズムの出力は、確率1で元の非凸問題に対して$\epsilon$-部分最適であることが保証される。
• 双対ギャップの境界は構成的に導出され、変数の数や目的関数の項の数ではなく、制約の数にのみ依存する。
• 証明技法は自己完結的であり、外部の仮定や既存の境界に依存しない。
• 変数の数や関数の数に依存しない$\epsilon$の境界がタイトであることが示されている。

実験結果

リサーチクエスチョン

• RQ1 確率的アルゴリズムは、線形制約をもつ非凸分離問題に対して$\epsilon$-部分最適解を達成できるか？
• RQ2 制約の数にのみ依存する双対ギャップの最もタイトな境界は何か？
• RQ3 このような問題に対して、双対ギャップの境界を構成的かつ自己完結的に証明する方法は何か？
• RQ4 変数の数や目的関数の項の数に依存しない双対ギャップの境界を達成することは可能か？

主な発見

• 双対ギャップは制約の数に比例する項で抑えられ、目的関数の変数や項の数に依存しない。
• $\epsilon$の境界はタイトであり、追加の仮定がなければ改善できない。
• 確率的アルゴリズムは確率1で$\epsilon$-部分最適解を達成する。
• 証明は構成的かつ自己完結的であり、従来の非構成的議論に依存する手法とは異る。
• この手法により、解の品質が変数や関数の数の大きさではなく、制約構造にのみ依存する。
• 実用的かつ理論的に裏付けられた非凸最適化問題の近似法を、保証された誤差境界とともに提供する。