[論文レビュー] Distributionally Robust Submodular Maximization

Matthew Staib, Bryan Wilder+1 more|arXiv (Cornell University)|Feb 14, 2018

Risk and Portfolio Optimization参考文献 35被引用数 8

ひとこと要約

本稿では、未知の分布からの有限個のサンプルしか入手できない状況下で、確率的関数におけるサブモジュラー最大化のための分布的に頑健な最適化（DRO）フレームワークを提案する。バイアスとバリアンスのバランスを直接最適化する分散正則化目的関数を用いることで、標準的な経験的リスク最小化に比べてより優れた一般化性能を達成する。新規のアルゴリズム（MFW）により理論的保証と実験的改善が得られ、特に分散が高く、サンプル数が限られる状況で顕著である。

ABSTRACT

Submodular functions have applications throughout machine learning, but in many settings, we do not have direct access to the underlying function $f$. We focus on stochastic functions that are given as an expectation of functions over a distribution $P$. In practice, we often have only a limited set of samples $f_i$ from $P$. The standard approach indirectly optimizes $f$ by maximizing the sum of $f_i$. However, this ignores generalization to the true (unknown) distribution. In this paper, we achieve better performance on the actual underlying function $f$ by directly optimizing a combination of bias and variance. Algorithmically, we accomplish this by showing how to carry out distributionally robust optimization (DRO) for submodular functions, providing efficient algorithms backed by theoretical guarantees which leverage several novel contributions to the general theory of DRO. We also show compelling empirical evidence that DRO improves generalization to the unknown stochastic submodular function.

研究の動機と目的

• 未知の分布からの少数のサンプルしか入手できない状況下で、サブモジュラー最適化における一般化ギャップを解消すること。
• 経験的平均化に依存するのではなく、バイアス・バリアンストレードオフを直接最適化することで、真の確率的サブモジュラー関数における性能を向上させること。
• 標準的な分散正則化アプローチにおける非効率性を克服し、分布的に頑健なサブモジュラー最適化のための実行可能でスケーラブルなアルゴリズムを開発すること。
• DROがサブモジュラー設定に与える理論的基盤を確立し、DROと分散正則化の関係をより洗練された形で特徴づけること。
• 実験的に、提案手法が標準的なベースラインに比べて一般化性能が優れていることを検証すること。特に、サンプルの分散が大きい場合に顕著である。

提案手法

• 本手法は、摂動を加えた経験的分布の下での最悪ケース期待値を最大化することを目的とする分布的に頑健な最適化（DRO）問題として問題を定式化する。
• DROの定式化に対応する分散正則化目的関数を導入し、経験的分布の不確実性を考慮することで、より優れた一般化性能を実現する。
• コアとなるアルゴリズムである修正フランク＝ウォルフ（MFW）は、サブモジュラー関数の非凸的かつ組合せ的性質を扱えるように設計されており、リプシッツ勾配バウンドを満たす収束性を保証する。
• サブモジュラー関数の多重線形拡張を活用し、スワップラウンディングを適用することで、分数解を妥当な部分集合の確率分布に変換し、近似比を保証する。
• サブモジュラリティと有界な限界利益に基づいて、DRO目的関数の勾配リプシッツ定数をバウンドすることで、理論的収束レートを確立する。
• アイテムの積分布を用い、相関ギャップの結果を適用することで、最適な任意の分布に対する最適な積分布が (1−1/e) 因子内に収まることが示される。

実験結果

リサーチクエスチョン

• RQ1 少数のサンプルしか入手できない状況下で、分布的に頑健な最適化がサブモジュラー最大化における一般化性能を向上させ得るか？
• RQ2 非凸的かつ組合せ的性質を持つ確率的サブモジュラー関数の文脈において、分散正則化は実行可能でスケーラブルか？
• RQ3 DRO定式化はサブモジュラー設定における分散正則化とどのように関係するか？効率的な最適化を可能にする構造的性質は何か？
• RQ4 非凸的かつサブモジュラーなDRO設定において、フランク＝ウォルフ風のアルゴリズムに理論的収束保証を確立できるか？
• RQ5 提案手法は、特に分散が大きい状況下で、標準的な経験的リスク最小化（すなわち、サンプルの平均化）を上回る性能を示すか？

主な発見

• 提案手法のMFWアルゴリズムは、$ big(ig|Vig|^{1/2}L + 1ig) $ のリプシッツ勾配バウンドを満たす収束を達成する。ここで $ b $ は最大限界利益、$ L $ は関数に依存する定数である。
• 分数量出力 $ x $ からの解は、DRO問題の最適解の $ (1 - 1/e) $ 因子内に収まる期待値を持つ部分集合の確率分布にラウンディング可能であると保証される。
• 実験的結果から、DROアプローチが標準的な経験的平均化に比べて一般化性能が優れていることが示された。特にサンプル分散が大きい場合に顕著である。
• 理論的分析により、DRO目的関数が分散正則化目的関数と等価であることが判明し、先行研究に比べてこの関係のより洗練された特徴づけが得られた。
• サブモジュラリティ固有の構造を組み込み、より強いアルゴリズム的保証を提供することで、先行のロバストサブモジュラー最適化手法を改善した。
• 本手法は、標準的な経験的リスク最小化が分散が高いために失敗する低サンプルレジームでも、スケーラブルかつ有効に機能する。