[論文レビュー] A Hybrid Method of Combinatorial Search and Coordinate Descent for Discrete Optimization

Ganzhao Yuan, Li Shen+1 more|arXiv (Cornell University)|Jun 20, 2017

Sparse and Compressive Sensing Techniques参考文献 48被引用数 6

ひとこと要約

本稿では、選択された座標の部分集合に対する組み合わせ的探索と座標降下を組み合わせたハイブリッド離散最適化手法を提案する。作業セットの選定にはランダムまたはグリーディ戦略を用い、スパースおよびバイナリ最適化において、従来の直交マッチング pursuit よりも優れた強い停留点と最先端の精度を達成する。

ABSTRACT

Discrete optimization is a central problem in mathematical optimization with a broad range of applications, among which binary optimization and sparse optimization are two common ones. However, these problems are NP-hard and thus difficult to solve in general. Combinatorial search methods such as branch-and-bound and exhaustive search find the global optimal solution but are confined to small-sized problems, while coordinate descent methods such as coordinate gradient descent are efficient but often suffer from poor local minima. In this paper, we consider a hybrid method that combines the effectiveness of combinatorial search and the efficiency of coordinate descent. Specifically, we consider random strategy or/and greedy strategy to select a subset of coordinates as the working set, and then perform global combinatorial search over the working set based on the original objective function. In addition, we provide some optimality analysis and convergence analysis for the proposed method. Our method finds stronger stationary points than existing methods. Finally, we demonstrate the efficacy of our method on some sparse optimization and binary optimization applications. As a result, our method achieves state-of-the-art performance in terms of accuracy. For example, our method generally outperforms the well-known orthogonal matching pursuit method in sparse optimization. Keywords: Sparsity Optimization, Binary Optimization, Coordinate Descent, Combinatorial Search, Discrete Optimization, Convergence Analysis.

研究の動機と目的

• NP-hardな離散最適化問題を解く既存手法の限界、特に座標降下における劣悪な局所最小値と組み合わせ的探索の高い計算コストを解消すること。
• 作業セット上の組み合わせ的探索と座標降下更新を統合することで、効率性とグローバル最適性のギャップを埋めること。
• 非凸なスパースおよびバイナリ最適化問題において、既存手法よりも強い停留点を探索できる手法を開発すること。
• 提案されたハイブリッドフレームワークにおける収束性および最適性の保証を理論的に確立すること。

提案手法

• 探索空間を縮小するために、ランダムまたはグリーディ戦略を用いて作業セットの座標を選択する。
• 作業セット内で、元の目的関数を用いたグローバルな組み合わせ的探索を実行し、解の品質を向上させる。
• 作業セットを固定したまま、残りの座標に対して座標降下更新を実行し、局所的改善を保証する。
• 収束バウンドを導出するために、十分な減少条件および勾配のリプシッツ連続性を用いる。
• 理論的分析では、強い凸性およびコーシー・シュワーツの不等式を活用し、反復点および収束速度のバウンドを求める。
• 理論的分析には、停留点への収束、期待される部分最適性のバウンド、および最適解からの反復点の距離のバウンドが含まれる。

実験結果

リサーチクエスチョン

• RQ1 組み合わせ的探索と座標降下を組み合わせたハイブリッド手法は、純粋な座標降下よりも離散最適化において優れた解の品質を達成できるか？
• RQ2 ランダムまたはグリーディ戦略による作業セット選択は、収束性の向上と劣悪な局所最小値の回避に寄与するか？
• RQ3 スパース最適化において、直交マッチング pursuit や最先端の手法と比較して、提案手法はどのように性能を発揮するか？
• RQ4 このハイブリッドフレームワークにおいて、収束性および部分最適性に関する理論的保証はどの程度確立できるか？
• RQ5 部分集合におけるグローバル探索と局所的降下を効果的にバランスさせることで、強い停留点を達成できるか？

主な発見

• 提案手法は、スパースおよびバイナリ最適化タスクにおいて、直交マッチング pursuit などの有名な手法を上回る最先端の精度を達成する。
• 理論的分析から、期待される部分最適性が反復回数に対して線形に減少し、強い凸性パラメータの逆数に比例する項によってバウンドされることが示された。
• 作業セットのサイズおよび問題パラメータに依存する収束レートを有する停留点への収束が確認された。
• 反復点と最適解との間の期待距離はバウンドされ、時間経過とともに減少しており、安定した収束を示している。
• 実験的結果から、特に非凸な設定において、既存手法よりも強い停留点を探索できることを示した。
• 反復の全過程で妥当性が維持され、機械学習およびコンピュータビジョン分野の実世界応用において、改善された性能が得られた。