[論文レビュー] Submodularity In Machine Learning and Artificial Intelligence

Jeff Bilmes|arXiv (Cornell University)|Jan 31, 2022

Rough Sets and Fuzzy Logic被引用数 14

ひとこと要約

本論文は、機械学習および人工知能における部分集合性（submodularity）について包括的なサーベイを提供しており、離散的問題（例：データ要約、特徴選択、アクティブラーニング）における効率的最適化を可能にする部分集合関数の有効性を示している。部分集合関数はコアセットの構築、構造的ノルムの設計、確率的モデリングの改善という観点から有効なツールであるとされ、最大化・最小化・連続拡張に関する理論的基盤と実用的アルゴリズムが提示されている。

ABSTRACT

In this manuscript, we offer a gentle review of submodularity and supermodularity and their properties. We offer a plethora of submodular definitions; a full description of a number of example submodular functions and their generalizations; example discrete constraints; a discussion of basic algorithms for maximization, minimization, and other operations; a brief overview of continuous submodular extensions; and some historical applications. We then turn to how submodularity is useful in machine learning and artificial intelligence. This includes summarization, and we offer a complete account of the differences between and commonalities amongst sketching, coresets, extractive and abstractive summarization in NLP, data distillation and condensation, and data subset selection and feature selection. We discuss a variety of ways to produce a submodular function useful for machine learning, including heuristic hand-crafting, learning or approximately learning a submodular function or aspects thereof, and some advantages of the use of a submodular function as a coreset producer. We discuss submodular combinatorial information functions, and how submodularity is useful for clustering, data partitioning, parallel machine learning, active and semi-supervised learning, probabilistic modeling, and structured norms and loss functions.

研究の動機と目的

• 機械学習研究者を対象に、部分集合性および超部分集合性（supermodularity）の統一的かつアクセス可能なレビューを提供すること。
• 組み合わせ的探索空間が巨大であるため、全探索が困難となる機械学習における離散的最適化の課題に取り組むこと。
• 要約や特徴選択などの多様な機械学習目的をモデル化するために、部分集合関数を構築または学習可能であることを示すこと。
• 部分集合性を、コアセット構築、クラスタリング、構造的正則化における機械学習の原理的フレームワークとして確立すること。
• 部分集合関数の理論的性質と、アクティブラーニング、確率的モデリング、ディープラーニングにおける実用的応用を橋渡しすること。

提案手法

• 部分集合関数をタイトな上界・下界のモジュラー近似によってバインドするモジュラー近似フレームワークを用い、平均場的推論を可能にする。
• Lovász拡張を用いて離散的で部分集合的な関数を凸的な連続関数に変換し、微分可能な最適化を可能にする。
• 手作業による設計（例：エントロピー、カバレッジ）、データからの学習、または組み合わせ的情報関数の使用を通じて、部分集合関数を構築することを提案する。
• 大規模な機械学習問題（例：データサブセット選択、ニューラルアーキテクチャ探索）におけるスケーラブルな最適化のため、連続的部分集合拡張を活用する。
• 構造的ノルムを $\|x\|_f = \breve{f}(|x|)$ として定義し、$\breve{f}$ を部分集合関数 $f$ のLovász拡張とする。これにより、凸的でスパースかつ構造的な正則化子が得られる。
• 部分集合関数をコアセット生成ツールとして利用し、モデル性能の観点から、選択されたサブセットが全データセットを忠実に再現することを保証する。

実験結果

リサーチクエスチョン

• RQ1 部分集合関数を効果的に活用することで、効率的かつ忠実なデータ要約およびコアセット選択手法をどのように設計できるか？
• RQ2 特徴選択や正則化において、従来の凸緩和と比較して、部分集合関数が持つ理論的および実用的利点は何か？
• RQ3 複雑な機械学習目的をモデル化するために、部分集合関数をデータから学習または近似することはどのようないくつかの方法で可能か？
• RQ4 連続的部分集合拡張は、アクティブラーニングやニューラルアーキテクチャ探索などの離散的機械学習問題におけるスケーラブルな最適化をどのように可能にするか？
• RQ5 部分集合関数を用いて、一般化性能とスパarsityを向上させる新しい凸的・構造的ノルムを定義できるか？

主な発見

• 部分集合関数は、近似品質の理論的保証を伴いながら、モデル性能を保持しつつデータサイズを削減するコアセットを原理的かつ効果的に構築する手段を提供する。
• 部分集合関数のLovász拡張は凸関数を生成し、微分可能な最適化を可能にする。これにより、凸的構造的ノルムの基盤が形成される。
• 部分集合関数に基づくコアセット構築は、データ精錬や特徴選択においてランダムサンプリングを上回る性能を示し、多様で代表的なサンプルを捉えるのに特に優れている。
• 部分集合関数はデータから学習または近似可能であり、要約やアクティブラーニングのためのデータ駆動型目的関数の設計を可能にする。
• 部分集合関数から導かれる構造的ノルムは、グループlassoを一般化し、協調的でグループベースのペナルティを備えたスパarsityを実現し、モデルの解釈性と性能を向上させる。
• 部分集合関数最適化により、限界効果の減少性を活用して確率的モデルにおけるMAP推論を効率的に行えるようになり、指数的複雑性が扱いやすい最適化に低減される。