[論文レビュー] Learning Submodular Functions

Maria-Florina Balcan, Nicholas J. A. Harvey|arXiv (Cornell University)|Aug 12, 2010

Benford’s Law and Fraud Detection被引用数 4

ひとこと要約

本稿は、劣微分関数のための学習理論的アルゴリズムを導入し、効率的な学習手法とその学習可能性の理論的限界の両方を確立する。劣微分関数の新たな構造的性質—極値的挙動や規則性—を明らかにし、機械学習、最適化、経済学における応用の基盤的知見を提供する。

ABSTRACT

Abstract. Submodular functions are discrete functions that model laws of diminishing returns and enjoy numerous algorithmic applications that have been used in many areas, including combinatorial optimization, machine learning, and economics. In this work we use a learning theo-retic angle for studying submodular functions. We provide algorithms for learning submodular functions, as well as lower bounds on their learn-ability. In doing so, we uncover several novel structural results revealing both extremal properties as well as regularities of submodular functions, of interest to many areas. Submodular functions are a discrete analog of convex functions that enjoy numerous applications and have structural properties that can be exploited al-gorithmically. They arise naturally in the study of graphs, matroids, covering problems, facility location problems, etc., and they have been extensively studied in operations research and combinatorial optimization for many years [8]. More recently submodular functions have become key concepts both in the machine

研究の動機と目的

• データから劣微分関数を学習するための効率的なアルゴリズムを開発すること。
• 劣微分関数の学習可能性に関する理論的下界を確立すること。
• 劣微分関数の新たな構造的性質（極値的挙動や規則性を含む）を解明すること。
• 学習理論からの理論的知見を、組合せ最適化および機械学習におけるアルゴリズム的応用と結びつけること。
• 劣微分関数の表現的・計算的限界をより深く理解すること。

提案手法

• サンプルに基づく推定を用いて劣微分関数をモデル化する学習理論的アプローチを提案する。
• 分布に依存しない学習技術を用いて、劣微分関数クラスの一般化限界を導出する。
• 劣微分関数を凸関数と離散的劣微分性と関連付けることで、学習の複雑性を分析する。
• 部分集合における関数挙動の組合せ論的および情報理論的分析を通じて構造的結果を導出する。
• 極値的組合せ論を用いて、劣微分関数における最悪ケースのシナリオと規則性のパターンを同定する。
• 情報理論的下界を用いて、学習可能性の限界を、サンプル複雑性に関する情報理論的下界として確立する。

実験結果

リサーチクエスチョン

• RQ1 与えられた誤差限界内で劣微分関数を学習するために必要なサンプル複雑性は何か？
• RQ2 劣微分関数のどの構造的性質が、その学習可能性を促進または阻害するか？
• RQ3 劣微分関数の極値的挙動は、その学習の可能性にどのように影響するか？
• RQ4 劣微分関数に見られるどの規則性を活用して、効率的な学習アルゴリズムを設計できるか？
• RQ5 劣微分関数の学習に関する根本的な理論的限界は何か？また、凸関数の学習と比較してどう異なるか？

主な発見

• 本稿は、ある種の分布的仮定のもとで劣微分関数が効率的に学習可能であることを確立し、入力サイズの多項式的要因に比例するサンプル複雑性の上限を示している。
• 学習において最大の複雑性を示す極値的劣微分関数が同定され、一般化における本質的限界が明らかにされた。
• 部分集合にわたる変動が有界であるといった、劣微分関数の新たな規則性の性質が明らかにされた。この性質は学習を容易にする。
• 劣微分関数を学習するために必要なサンプル数に関する情報理論的下界が証明され、最悪ケースにおいて十分なデータがなければ学習が不可能であることが示された。
• 構造的知見により、劣微分関数が離散的領域における凸関数と類似した挙動を示すことが判明し、アルゴリズム的利用が可能である。
• 結果として、劣微分関数が表現力と学習可能性のバランスを備えており、実用的な機械学習応用に適していることが示された。