[論文レビュー] Mixed Robust/Average Submodular Partitioning: Fast Algorithms, Guarantees, and Applications

Kai Wei, Rishabh Iyer+3 more|arXiv (Cornell University)|Oct 29, 2015

Complexity and Algorithms in Graphs参考文献 30被引用数 20

ひとこと要約

本論文は、ロバスト最適化と平均ケース最適化の両方の長所を組み合わせたスケーラブルなアルゴリズムを導入し、混合ロバスト/平均ケースのサブモジュラ分割問題を扱う。グリーディ法、マジョライゼーション・ミニマライゼーション法、リラクゼーションに基づく手法を提案し、大規模な実世界のデータセットにスケーリング可能でありながら、最新の近似保証を達成する。応用分野には分散機械学習、クラスタリング、画像セグメンテーションが含まれる。

ABSTRACT

We investigate two novel mixed robust/average-case submodular data partitioning problems that we collectively call Submodular Partitioning. These problems generalize purely robust instances of the problem, namely max-min submodular fair allocation (SFA) [12] and min-max submodular load balancing (SLB) [25], and also average-case instances, that is the submodular welfare problem (SWP) [26] and submodular multiway partition (SMP) [5]. While the robust versions have been studied in the theory community [11, 12, 16, 25, 26], existing work has focused on tight approximation guarantees, and the resultant algorithms are not generally scalable to large real-world applications. This is in contrast to the average case, where most of the algorithms are scalable. In the present paper, we bridge this gap, by proposing several new algorithms (including greedy, majorization-minimization, minorization-maximization, and relaxation algorithms) that not only scale to large datasets but that also achieve theoretical approximation guarantees comparable to the state-of-the-art. We moreover provide new scalable algorithms that apply to additive combinations of the robust and average-case objectives. We show that these problems have many applications in machine learning (ML), including data partitioning and load balancing for distributed ML, data clustering, and image segmentation. We empirically demonstrate the efficacy of our algorithms on real-world problems involving data partitioning for distributed optimization (of convex and deep neural network objectives), and also purely unsupervised image segmentation.

研究の動機と目的

• 従来、強い近似保証を提供するが大規模応用において非効率であるとされるロバストサブモジュラ分割問題におけるスケーラビリティのギャップを解消すること。
• 理論的に最適だが実用的でないロバストアルゴリズムと、スケーラブルではあるがロバスト性に欠ける平均ケース手法の間の溝を埋めること。
• 目的関数の加法的組み合わせを通じて、ロバスト性と平均ケース性能のバランスを取った新しいアルゴリズムを開発し、実世界の機械学習ワークロードにおける実用的導入を可能にすること。
• 提案されたフレームワークが分散機械学習、データクラスタリング、画像セグメンテーションタスクに実際に適用可能であることを示すこと。
• 新しいアルゴリズムに理論的近似保証を提供するとともに、大規模データセット上での計算効率を確保すること。

提案手法

• ロバスト（例：最大最小公平性）と平均ケース（例：サブモジュラリティ福利厚）の両目的を統合した、サブモジュラ分割の新しい定式化を提案する。
• 結合されたロバスト/平均目的関数を最大化するように要素を段階的にパーティションに割り当てるグリーディアルゴリズムを設計し、理論的近似バインディングを保証する。
• 非凸・非滑らかであるサブモジュラ目的関数を、逐次的凸近似により効率的に最適化するためのマジョライゼーション・ミニマライゼーションおよびマイノライゼーション・マキシマライゼーションスキームを導入する。
• 離散的分割問題を連続最適化問題に変換する連続的リラクゼーションアプローチを開発し、射影勾配法により解けるようにする。
• サブモジュラリティの性質を活用して、提案されたアルゴリズムフレームワーク下で収束性と近似保証を保証する。
• 分散機械学習および教師なし画像セグメンテーションのための実用的パイプラインにアルゴリズムを統合し、実世界データ上でエンドツーエンドの評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ロバストと平均ケースの両目的を組み合わせた場合でも、強力な理論的近似保証を維持しつつ、スケーラブルなサブモジュラ分割アルゴリズムを設計できるか？
• RQ2 提案されたアルゴリズムは、ロバストおよび平均ケースのサブモジュラ最適化分野における既存の最先端手法と比較して、性能とスケーラビリティにおいてどのように差をつけるか？
• RQ3 混合ロバスト/平均ケースの目的関数は、分散学習や画像セグメンテーションなどの実世界の機械学習応用において、公平性と有用性をどの程度向上できるか？
• RQ4 異なる目的関数の組み合わせ下で、提案されたアルゴリズムの理論的近似バインディングは何か？
• RQ5 提案された手法は、解の品質を損なわずに大規模な実世界データセットに効果的に適用可能か？

主な発見

• 提案されたアルゴリズムは、ロバストおよび平均ケースのサブモジュラ最適化分野における最新技術と同等の理論的近似保証を達成する。
• グリーディ法およびリラクゼーションに基づくアルゴリズムは、大規模データセットに効果的にスケーリング可能であり、分散ディープラーニングや画像セグメンテーションなどの実世界応用における実用的導入を可能にする。
• マジョライゼーション・ミニマライゼーションおよびマイノライゼーション・マキシマライゼーションアプローチは、非凸サブモジュラ目的関数に対して安定した収束性と高品質な解を提供する。
• 実験的評価により、混合ロバスト/平均ケースの定式化が、収束速度を損なわせることなく、分散機械学習ワークロードにおけるロードバランシングと公平性を向上させることを示した。
• 実世界のデータ分割タスクにおいて、純粋にロバストまたは平均ケースのベースラインと比較して、提案されたアルゴリズムは解の品質とスケーラビリティの両面で優れている。
• フレームワークは教師なし画像セグメンテーションにおいても有効であり、計算効率を維持しながら競争力のある結果を達成した。