[論文レビュー] Learning pseudo-Boolean k-DNF and Submodular Functions

Sofya Raskhodnikova, Grigory Yaroslavtsev|arXiv (Cornell University)|Aug 10, 2012

Complexity and Algorithms in Graphs被引用数 6

ひとこと要約

本稿は、サブモジュラー関数 $f: \{0,1\}^n \to \{0,1,\dots,k\}$ を擬似ブール $2k$-DNF 公式として表現する新規な手法を導入し、一様分布下でのメンバーシップクエリを用いた PAC ラーニングアルゴリズムを可能にする。主な貢献は、$k^{O(k\log k/\epsilon)}$ のクエリ複雑性を有する多項式時間ラーニングアルゴリズムの確立であり、固定された $\epsilon$ および $\delta$ に対して、従来の $n^{O(k)}$ の境界と比べて顕著な改善を実現する。本手法は一般化されたスイッチング補題とスパースフーリエ近似を活用し、サブモジュラリティの効率的ラーニングおよびプロパティテストを実現する。

ABSTRACT

We prove that any submodular function f: {0,1}^n -> {0,1,...,k} can be represented as a pseudo-Boolean 2k-DNF formula. Pseudo-Boolean DNFs are a natural generalization of DNF representation for functions with integer range. Each term in such a formula has an associated integral constant. We show that an analog of Hastad's switching lemma holds for pseudo-Boolean k-DNFs if all constants associated with the terms of the formula are bounded. This allows us to generalize Mansour's PAC-learning algorithm for k-DNFs to pseudo-Boolean k-DNFs, and hence gives a PAC-learning algorithm with membership queries under the uniform distribution for submodular functions of the form f:{0,1}^n -> {0,1,...,k}. Our algorithm runs in time polynomial in n, k^{O(k \log k / ε)}, 1/εand log(1/δ) and works even in the agnostic setting. The line of previous work on learning submodular functions [Balcan, Harvey (STOC '11), Gupta, Hardt, Roth, Ullman (STOC '11), Cheraghchi, Klivans, Kothari, Lee (SODA '12)] implies only n^{O(k)} query complexity for learning submodular functions in this setting, for fixed epsilon and delta. Our learning algorithm implies a property tester for submodularity of functions f:{0,1}^n -> {0, ..., k} with query complexity polynomial in n for k=O((\log n/ \loglog n)^{1/2}) and constant proximity parameter ε.

研究の動機と目的

• 一様分布下でのサブモジュラー関数 $f: \{0,1\}^n \to \{0,1,\dots,k\}$ の効率的ラーニングアルゴリズムの開発。
• すべてのこのようなサブモジュラー関数が、定数が有界な擬似ブール $2k$-DNF 表現を有することを示す構造的結果の確立。
• 一般化されたスイッチング補題を用いてマンサールの PAC ラーニングフレームワークを擬似ブール $k$-DNF に拡張する。
• サブモジュラリティのプロパティテストを、$k = O((\log n / \log\log n)^{1/2})$ の場合に $n$ の多項式的クエリ複雑性で可能にする。

提案手法

• 各項に整数定数が関連付けられ、正の変数が最大 $k$ 個かつ否定された変数が最大 $k$ 個含まれる擬似ブール DNF を用いてサブモジュラー関数を表現する。
• 定数が有界な擬似ブール $k$-DNF に対して一般化されたスイッチング補題を証明し、フーリエ係数の制御を可能にする。
• スパースフーリエ近似を用い、任意の関数を $\text{DNF}^{k,r}$ に $\epsilon$-近似する $M$-スパース関数に近似する。ここで $M = k^{O(k\log(r/\epsilon))}$ である。
• クシレヴィッツ＝マヌールのラーニングアルゴリズムを用いてスパース近似を学習し、その後、値を $2/(r-1)$ の最も近い倍数に丸めることで、元の関数を誤差 $\leq \epsilon$ で回復する。
• スパース近似を持つ関数のためのゴパラン＝カライ＝クリヴァンズのラーニングフレームワークを用いて、アグノスティック設定への拡張を実現する。

実験結果

リサーチクエスチョン

• RQ1 サブモジュラー関数 $f: \{0,1\}^n \to \{0,1,\dots,k\}$ は、擬似ブール DNF を用いてコンパクトに表現可能か？
• RQ2 定数が有界な擬似ブール $k$-DNF に対して一般化されたスイッチング補題は成立するか？
• RQ3 マンサールのラーニングフレームワークは、擬似ブール $k$-DNF に拡張可能であり、効率的 PAC ラーニングをもたらすか？
• RQ4 一様分布下でのサブモジュラー関数のラーニングのクエリ複雑性はいかほどか？
• RQ5 新しい表現とラーニングフレームワークを用いて、サブモジュラリティは効率的にテスト可能か？

主な発見

• すべてのサブモジュラー関数 $f: \{0,1\}^n \to \{0,1,\dots,k\}$ は、定数が $\{0,\dots,k\}$ 内にある擬似ブール $2k$-DNF 表現を有する。
• 一般化されたスイッチング補題は、擬似ブール $k$-DNF の高次元フーリエ係数の $L_2$-ノルムと低次元係数の $L_1$-ノルムを有界に制御する。
• $\text{DNF}^{k,r}$ に属する任意の関数は、$M = k^{O(k\log(r/\epsilon))}$ を満たす $M$-スパース関数により $\epsilon$-近似可能である。
• サブモジュラー関数のための PAC ラーニングアルゴリズムは、一様分布下で $n$、$k^{O(k\log k/\epsilon)}$、$1/\epsilon$、$\log(1/\delta)$ に関して多項式時間で実行可能である。
• スパース近似と値の丸めを用いて、サブモジュラー関数のアグノスティックラーニングを実現する。
• サブモジュラリティのプロパティテストは、$k = O((\log n / \log\log n)^{1/2})$ かつ定数 $\epsilon$ の場合に $n$ の多項式的クエリ複雑性で得られる。