[論文レビュー] Fast Semidifferential-based Submodular Function Optimization

Rishabh Iyer, Stefanie Jegelka+1 more|arXiv (Cornell University)|Aug 5, 2013

Complexity and Algorithms in Graphs参考文献 46被引用数 55

ひとこと要約

本稿は、離散的半微分（劣勾配および超勾配）を用いた、部分的下位関数最適化の統一的・最小化（MM）フレームワークを提案する。このフレームワークにより、非制約および制約付きの部分的下位関数最小化・最大化の両方に対して、効率的で実用的なアルゴリズムの開発が可能になる。本手法は、従来の貪欲法および局所探索法を一般化・統一し、正確な手法に比べて最大200–500倍の高速化を達成しながらも、強固な理論的保証を維持する。

ABSTRACT

We present a practical and powerful new framework for both unconstrained and constrained submodular function optimization based on discrete semidifferentials (sub- and super-differentials). The resulting algorithms, which repeatedly compute and then efficiently optimize submodular semigradients, offer new and generalize many old methods for submodular optimization. Our approach, moreover, takes steps towards providing a unifying paradigm applicable to both submodular min- imization and maximization, problems that historically have been treated quite distinctly. The practicality of our algorithms is important since interest in submodularity, owing to its natural and wide applicability, has recently been in ascendance within machine learning. We analyze theoretical properties of our algorithms for minimization and maximization, and show that many state-of-the-art maximization algorithms are special cases. Lastly, we complement our theoretical analyses with supporting empirical experiments.

研究の動機と目的

• 大規模な機械学習問題における部分的下位関数最適化のスケーラビリティと実用性のギャップを解消すること。
• 従来分離されていた部分的下位関数最小化と最大化のアプローチを、一つの組み合わせ的フレームワークで統一すること。
• 既存の貪欲法および局所探索法を一般化・改善する、効率的で実用的なアルゴリズムを開発すること。
• 提案された半微分に基づく最適化フレームワークの理論的境界と実験的妥当性を提供すること。
• 連続的リラクゼーションや丸め処理ステップを用いずに、部分的下位関数および超微分を活用することで、部分的下位関数最適化の計算コストを低減すること。

提案手法

• フレームワークは、部分的下位関数ポリトープおよび反部分的下位関数ポリトープ構造から導かれる離散的半微分（劣勾配および超勾配）を用いる。
• 最大化のため、選択された劣勾配に基づく補助関数を反復的に最適化する、マジョライズ・ミニマイズ（MM）アルゴリズムを適用する。
• 最小化のため、解空間を束縛し候補最小化子を削減するために超勾配を利用する、補完的なマジョライズ・ミニマイズフレームワークを提案する。
• 先行手法がロヴァーシュやマルチリニア拡張に基づくのに対し、本手法は連続的リラクゼーションや丸め処理を回避し、完全に組み合わせ的である。
• アルゴリズムフレームワークには、異なる劣勾配選択戦略（例：貪欲、ランダム、局所探索）を用いたバリエーションを含み、既知の近似アルゴリズムと理論的関係を有する。
• 正確な最小化アルゴリズムの事前処理ステップとして統合され、最小化子のラティス上の境界を用いて探索空間を削減する。

実験結果

リサーチクエスチョン

• RQ1 一つの組み合わせ的フレームワークが、共通の最適化パラダイムのもとで部分的下位関数最小化と最大化を統一できるか？
• RQ2 離散的半微分を用いて、既存の貪欲法および局所探索法を一般化する、より高速で実用的なアルゴリズムを設計できるか？
• RQ3 部分的下位関数関数に対する半微分に基づく最適化の理論的近似保証と収束特性は何か？
• RQ4 実際の性能において、半微分に基づくアルゴリズムは正確法やリラクゼーションに基づく手法と比べてどうか？
• RQ5 最適劣勾配選択のNP困難性は根本的ボトルネックであるか？ヒューリスティックな選択でも強力な実験的結果が得られるか？

主な発見

• 劣勾配選択（例：DLS、BG、RG、RLS）を用いた提案されたMMaxフレームワークは、理論的最悪ケース境界を著しく上回る実験的近似要因を達成し、しばしば最先端の貪欲法を上回る性能を示す。
• MMaxのバリエーションは、[14]の正確な分枝限定法に比べて200–500倍高速であり、大規模問題へのスケーラビリティが顕著に向上する。
• 本フレームワークは、貪欲法および局所探索法を含む、多くの既知の部分的下位関数最大化アルゴリズムを特別なケースとして一般化・包含する。
• 非制約最小化において、本フレームワークは最小化子のラティスに対する新たな非自明な境界を提供し、探索空間を削減し正確なアルゴリズムの高速化を実現する。
• 最適劣勾配の選択がNP困難であることが確立されたが、ヒューリスティックな劣勾配選択でも強力な実験的性能が得られる。
• 合成データおよび実世界データ（例：TIMIT音声コーパス）における実験結果から、多様な部分的下位関数目的関数において本手法の頑健性と効率性が確認された。