[論文レビュー] Convex Analysis and Optimization with Submodular Functions: a Tutorial

Francis Bach|arXiv (Cornell University)|Oct 20, 2010

Complexity and Algorithms in Graphs参考文献 39被引用数 26

ひとこと要約

このチュートリアルは、Lovász拡張、多面体構造、双対性、最適化を焦点として、部分集合関数の凸解析への接続を包括的かつ自己完結的に紹介する。部分集合関数を凸関数の離散的アナログとして確立することで、凸緩和と多面体幾何学を用いた効率的な最小化およびプロキシマル最適化が可能になる。

ABSTRACT

Set-functions appear in many areas of computer science and applied mathematics, such as machine learning, computer vision, operations research or electrical networks. Among these set-functions, submodular functions play an important role, similar to convex functions on vector spaces. In this tutorial, the theory of submodular functions is presented, in a self-contained way, with all results shown from first principles. A good knowledge of convex analysis is assumed.

研究の動機と目的

• 部分集合関数とその凸最適化における役割を統一的かつ自己完結的に紹介すること。
• Lovász拡張と関連する多面体を通じて、部分集合関数と凸解析との間の関係を確立すること。
• 特に最小化およびプロキシマル手法を用いた最適化技術—部分集合関数と基本多面体を用いて—を提示すること。
• 第一原理の証明と双対性理論を用いて、部分集合関数の理論的基盤を明確にすること。
• 機械学習、エントロピー、スペクトル関数、マトロイド理論からの多様な例を通じて、部分集合関数の関連性を提示すること。

提案手法

• Lovász拡張を用いて、部分集合関数を単位立方体上の凸関数に写像する。
• 部分集合多面体と基本多面体を、そのサポート関数が部分集合関数に関連する凸集合として定義する。
• 双対性理論を適用して、部分集合多面体の最適性条件および顔構造を導出する。
• 最小ノルム点アルゴリズムと組合せ的技法を用いて、部分集合関数の最小化を行う。
• Lovász拡張と基本多面体制約を用いて、分離可能な最適化問題を再解釈する。
• ホモトピー法と分解法を用いて、部分集合関数を含むプロキシマル問題を解く。

実験結果

リサーチクエスチョン

• RQ1 部分集合関数は、逓減報酬性と2階差分を用いてどのように同値に特徴付けられるか？
• RQ2 Lovász拡張は、離散的で部分集合関数と連続的凸解析とをどのように結びつけるか？
• RQ3 部分集合多面体の双対性と顔構造は、最適性条件を導出するためにどのように利用できるか？
• RQ4 部分集合関数の最小化のための主なアルゴリズム的手法は何か？ そしてこれらは凸最適化とどのように関係するか？
• RQ5 エントロピー、行列式、ランク関数といった一般的な関数が部分集合関数として現れる文脈は何か？

主な発見

• 部分集合関数は逓減報酬性と等価であり、1階および2階差分を用いて特徴付けられる。
• Lovász拡張は部分集合関数の凸緩和を提供し、単位立方体上での連続的最適化を可能にする。
• 部分集合多面体のサポート関数は、部分集合関数そのものに等しく、その最大化点は特定の部分集合に対応する。
• 最小ノルム点アルゴリズムは、部分集合関数最小化のための多項式時間法を提供する。
• 非減少部分集合関数は、エントロピー、行列式、スペクトル関数において自然に現れ、情報理論および統計学への応用を持つ。
• マトロイドのランク関数は部分集合関数であり、グラフ的マトロイドや線形マトロイドといった重要なケースを含む。