[論文レビュー] A Unified Framework of Constrained Robust Submodular Optimization with Applications

Rishabh Iyer|arXiv (Cornell University)|Jun 14, 2019

Complexity and Algorithms in Graphs参考文献 68被引用数 4

ひとこと要約

本稿では、基数制約、ナップサック制約、マトロイド制約、グラフベースの制約を含む多様な組合せ的制約の下で、最小化と最大化の両方を扱う統一的なフレームワークを提示する。また、Robust-Scsc や Robust-Scsk といった新たな問題を導入する。スケーラブルな近似アルゴリズム、特に主要化最小化（MM）アプローチを提案し、画像対応、データサブセット選択、マルチクエリ画像要約といった実世界の応用において、ベースラインを上回る優れた性能を示している。

ABSTRACT

Robust optimization is becoming increasingly important in machine learning applications. In this paper, we study a unified framework of robust submodular optimization. We study this problem both from a minimization and maximization perspective (previous work has only focused on variants of robust submodular maximization). We do this under a broad range of combinatorial constraints including cardinality, knapsack, matroid as well as graph-based constraints such as cuts, paths, matchings and trees. Furthermore, we also study robust submodular minimization and maximization under multiple submodular upper and lower bound constraints. We show that all these problems are motivated by important machine learning applications including robust data subset selection, robust co-operative cuts and robust co-operative matchings. In each case, we provide scalable approximation algorithms and also study hardness bounds. Finally, we empirically demonstrate the utility of our algorithms on synthetic data, and real-world applications of robust cooperative matchings for image correspondence, robust data subset selection for speech recognition, and image collection summarization with multiple queries.

研究の動機と目的

• 多様な組合せ的制約の下で、ロバストなサブモジュラ最適化の包括的な理論的・アルゴリズム的フレームワークの構築を目的とする。
• 上界・下界制約を伴うロバストなサブモジュラ最小化と統合最適化を導入し、先行研究のロバストなサブモジュラ最大化を拡張することを目的とする。
• ロバストなデータサブセット選択、画像対応マッチング、マルチクエリ画像コレクション要約といった実世界の機械学習課題への対応を目的とする。
• 理論的保証を伴う近似アルゴリズムを提供し、合成および実世界のデータセット上で実験的に評価することを目的とする。
• 曲率に基づく解析とスケーラブルなアルゴリズムを用いて、理論的ハードネス境界と達成可能な近似比のギャップを埋めることを目的とする。

提案手法

• 4つのコア問題を提案：Robust-SubMin、Robust-SubMax、Robust-Scsc（サブモジュラ下界を伴う最大目的関数の最小化）、Robust-Scsk（サブモジュラ上界を伴う最小目的関数の最大化）。
• スケーラブルな最適化のための主要化最小化（MM）アルゴリズムを導入し、補助関数を用いて反復的に解を改善する。
• ロバスト最適化を、複数のサブモジュラ関数の下での最悪ケース目的関数の最小化として定式化する統一的枠組みを採用する。
• 要約タスクにおけるサブモジュラ関数評価のため、事前学習モデル（YOLOv3 と ResNet50）からの特徴表現を用いる。
• MMアルゴリズムをRobust-ScscおよびRobust-Scsk問題に適用し、サブモジュラおよびモジュラ制約下で収束性および近似保証を示す。
• 最小-最大クエリ関連度を評価指標として用い、平均近似（Avg-Scsc）やユニオンベース（Union-Scsc）ヒューリスティクスといったベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 多様な組合せ的制約の下で、ロバストなサブモジュラ最小化と最大化を統一的に扱えるフレームワークを開発できるか？
• RQ2 複数のサブモジュラ上界・下界制約は、ロバストなサブモジュラ最適化の設計および近似保証にどのように影響するか？
• RQ3 主に化最小化のようなスケーラブルなアルゴリズムは、楕円体近似のようなより複雑な手法と比較して、どのように性能を発揮するか？
• RQ4 画像対応やマルチクエリ要約といった実世界の応用において、ロバストな定式化は非ロバストで平均ベースのアプローチを上回る性能を示すか？
• RQ5 ロバストなサブモジュラ最適化において、理論的ハードネス境界と達成可能な近似比の理論的ギャップは何か？また、曲率に基づく境界はこのギャップをどのように改善できるか？

主な発見

• 提案された主要化最小化アルゴリズムは、より複雑な楕円体近似法と同等の性能を達成する一方で、はるかにスケーラブルであることが示された。
• Robust-Scsc は、最小クエリ関連度の値が高いため、常に Avg-Scsc や Union-Scsc ベースラインを上回り、すべてのクエリにおけるバランスの取れた関連度を保証する。
• 複数のクエリを伴う画像コレクション要約において、ロバスト定式化は、ユニオンや平均ベースのアプローチとは異なり、すべてのクエリコンセプトの均等な表現を保証する。
• このフレームワークは実世界の応用にうまく一般化された：画像対応のためのロバストな協調マッチング、音声認識のためのロバストなデータサブセット選択、マルチクエリ画像要約。
• 実験的結果から、ロバストな定式化は、データや特徴表現に摂動が生じる状況でも、より安定的かつ公平な解をもたらすことが分かった。
• 理論的解析により、提案されたアルゴリズムが、基数制約、ナップサック制約、マトロイド制約、グラフベースの制約を含むさまざまな制約タイプにおいて、近似保証を提供することが確認された。