[論文レビュー] Ideal formulations for constrained convex optimization problems with indicator variables

Linchuan Wei, Andrés Gómez+1 more|arXiv (Cornell University)|Jun 30, 2020

Sparse and Compressive Sensing Techniques参考文献 57被引用数 6

ひとこと要約

本稿は、インジケータ変数および組合せ的制約を伴うスパース回帰問題の包括的凸化技術を提案し、任意の多面体的制約下での凸関数とアフィン関数の合成関数の上位集合に対して理想の定式化を導出する。主な貢献は、パースペクティブ再定式化を一般化する閉形式の凸包記述であり、計算コストの大幅な増加を伴わずに、計算実験で顕著に下界を向上させることを可能にする。

ABSTRACT

Motivated by modern regression applications, in this paper, we study the convexification of a class of convex optimization problems with indicator variables and combinatorial constraints on the indicators. Unlike most of the previous work on convexification of sparse regression problems, we simultaneously consider the nonlinear non-separable objective, indicator variables, and combinatorial constraints. Specifically, we give the convex hull description of the epigraph of the composition of a one-dimensional convex function and an affine function under arbitrary combinatorial constraints. As special cases of this result, we derive ideal convexifications for problems with hierarchy, multi-collinearity, and sparsity constraints. Moreover, we also give a short proof that for a separable objective function, the perspective reformulation is ideal independent from the constraints of the problem. Our computational experiments with regression problems under hierarchy constraints on real datasets demonstrate the potential of the proposed approach in improving the relaxation quality without significant computational overhead.

研究の動機と目的

• インジケータ変数に任意の組合せ的制約を課した状況下で、凸関数とアフィン関数の合成関数の上位集合に対する理想の凸包定式化を開発すること。
• 分離可能または二次的でない目的関数や、基数制約のような単純な制約を超えて、既存のパースペクティブ再定式化結果を一般化すること。
• 非分離的・非線形的・制約付きスパース回帰問題に対する理想の定式化のギャップを埋めること。
• 現代の回帰応用に向けた混合整数錐最適化における凸緩和の品質を向上させること。
• 階層、多重共線性、スパarsity、グループ選択などの制約に適用可能な統一的フレームワークを提供すること。

提案手法

• 集合 $ Z_Q $ の凸包記述を導出する。ここで $ Z_Q $ は、$ f(h^\top \beta) \leq t $ の上位集合であり、インジケータ制約 $ \beta_i(1 - z_i) = 0 $ と $ z \in Q \subseteq \{0,1\}^p $ を満たす。
• 任意の1変数凸関数 $ f $ に対して、$ z $ における任意の多面体的制約下での凸包の一般閉形式表現を確立する。
• 一般結果を用いて、スパarsity、階層（強および弱）、多重共線性、グループ選択などの特定の制約に対する理想の定式化を導出する。
• パースペクティブ再定式化が、制約集合 $ Q $ にかかわらず、分離可能な凸目的関数に対して理想であることを短い証明で示し、先行研究を拡張する。
• 導出された定式化を用いて、特にスパースロジスティック回帰に対して、混合整数錐最適化における凸緩和を強化する。
• 合成データセットを用いた計算実験により、自然な緩和（log-nat）と提案された再定式化（log-rko）の下界を比較する。

実験結果

リサーチクエスチョン

• RQ1 任意の組合せ的制約を伴うインジケータ変数の下で、非分離的・非線形凸関数とアフィン関数の合成関数の上位集合に対して、理想の閉形式凸包記述を導出可能か？
• RQ2 組合せ的制約が存在する場合でも、パースペクティブ再定式化は分離可能な凸目的関数に対して理想のままであるか？
• RQ3 提案された理想の定式化は、複雑な制約を伴うスパース回帰問題における緩和品質をどのように向上させるか？
• RQ4 正則化強度とデータのスパarsityが、提案された定式化による下界向上に与える影響は何か？
• RQ5 提案されたフレームワークは、基数制約、階層、多重共線性制約に関する既存のパースペクティブ再定式化結果を統一的かつ一般化できるか？

主な発見

• 提案手法は、$ z $ に任意の多面体的制約を課した状況下で、$ f(h^\top \beta) \leq t $ の上位集合に対する閉形式の凸包記述を提供し、先行研究を一般化する。
• 分離可能な凸目的関数に対しては、制約集合 $ Q $ にかかわらずパースペクティブ再定式化が理想であることが証明され、既知の結果を拡張する。
• 提案された log-rko 緩和は、自然な緩和（log-nat）と比較して、下界が最低でも16%以上高く、スパースな状況では最大100%の向上を達成する。
• $ \alpha = 0.01 $ かつ $ \lambda \geq 0.5 $ の場合、log-rko は下界が1に非常に近づき、最適解が $ \beta = \mathbf{0} $ であることをしばしば証明可能である。
• 自然な緩和が弱くなる $ n \leq p $ の場合や、スパarsityが支配的になる $ \lambda $ が大きい場合に、改善効果が顕著に現れる。
• スパースロジスティック回帰の実験により、計算コストの大幅な増加を伴わず、緩和品質が向上することが実証された。