[論文レビュー] Provable Non-Convex Optimization and Algorithm Validation via Submodularity

Yatao Bian|arXiv (Cornell University)|Jan 1, 2019

Complexity and Algorithms in Graphs参考文献 87被引用数 2

ひとこと要約

本学位論文は、証明可能な非凸最適化のための枠組みとして連続的サブモジュラリティを導入し、非凸・非凹関数の最大化における効率的な近似アルゴリズムと理論的保証を可能にする。さらに、情報理論的アルゴリズム検証を用いてMaxCutアルゴリズムを分析し、アルゴリズムの情報含量を通じてロバストネスの違いを明らかにする。

ABSTRACT

Submodularity is one of the most well-studied properties of problem classes in combinatorial optimization and many applications of machine learning and data mining, with strong implications for guaranteed optimization. In this thesis, we investigate the role of submodularity in provable non-convex optimization and validation of algorithms. A profound understanding which classes of functions can be tractably optimized remains a central challenge for non-convex optimization. By advancing the notion of submodularity to continuous domains (termed "continuous submodularity"), we characterize a class of generally non-convex and non-concave functions -- continuous submodular functions, and derive algorithms for approximately maximizing them with strong approximation guarantees. Meanwhile, continuous submodularity captures a wide spectrum of applications, ranging from revenue maximization with general marketing strategies, MAP inference for DPPs to mean field inference for probabilistic log-submodular models, which renders it as a valuable domain knowledge in optimizing this class of objectives. Validation of algorithms is an information-theoretic framework to investigate the robustness of algorithms to fluctuations in the input/observations and their generalization ability. We investigate various algorithms for one of the paradigmatic unconstrained submodular maximization problem: MaxCut. Due to submodularity of the MaxCut objective, we are able to present efficient approaches to calculate the algorithmic information content of MaxCut algorithms. The results provide insights into the robustness of different algorithmic techniques for MaxCut.

研究の動機と目的

• 非凸関数の最適化のための理論的枠組みを構築すること。
• 連続的サブモジュラ関数の最大化における近似保証を提供すること。
• 情報理論的ロバストネス解析を用いてサブモジュラ最大化問題のアルゴリズムを検証すること。
• 連続的サブモジュラリティを収益最大化、MAP推論、平均場近似などの実世界の応用と結び付けること。

提案手法

• 離散的サブモジュラリティを連続的領域へ拡張する形で連続的サブモジュラリティを導入する。
• 連続的DR-サブモジュラ関数を定義し、その構造的性質を確立する。
• ボックス制約下での連続的サブモジュラ関数最大化に適した勾配ベースおよび条件付き勾配アルゴリズムを提案し、近似保証を示す。
• サブモジュラリティを活用してMaxCutのアルゴリズム情報含量を効率的に計算する。
• 情報理論的指標を用いて、入力の摂動に対するMaxCutアルゴリズムのロバストネスを定量化する。
• サブモジュラ構造を活用して、アルゴリズムの複雑さと一般化の洞察を扱いやすい形で計算可能にする。

実験結果

リサーチクエスチョン

• RQ1 連続的サブモジュラリティは、非凸最適化における証明可能な近似保証を可能にするか？
• RQ2 サブモジュラリティは、非制約サブモジュラ最大化のためのアルゴリズムのロバストネスをどのように検証できるか？
• RQ3 MaxCutアルゴリズムのアルゴリズム情報含量は何か？ そしてそれはロバストネスとどのように関係するか？
• RQ4 連続的サブモジュラ最適化は、実世界の機械学習およびデータマイニング問題をどの程度自然にモデル化できるか？
• RQ5 MaxCutの異なるアルゴリズム手法は、ロバストネスおよび情報含量の観点からどのように比較できるか？

主な発見

• 本稿は、一般に非凸かつ非凹であるにもかかわらず、連続的DR-サブモジュラ関数が定数因子の近似保証を有する近似アルゴリズムを備えていることを確立している。
• 提案されたアルゴリズムは、ボックス制約下での連続的DR-サブモジュラ関数最大化において、近似比1/2を達成する。
• 目的関数のサブモジュラリティのおかげで、MaxCutのアルゴリズム情報含量は効率的に計算可能であり、ロバストネス分析が可能になる。
• 異なるMaxCutアルゴリズムは、ロバストネスに差を示しており、貪欲法および確率的手法は、情報理論的プロファイルが顕著に異なる。
• この枠組みは、サブモジュラ構造がアルゴリズムのロバストネスと一般化の検証を扱いやすい形で可能にすることを明らかにした。
• 収益最大化、DPP推論、平均場近似といった応用が、連続的サブモジュラフレームワーク内に自然にモデル化可能であることが示された。