[論文レビュー] Representation, Approximation and Learning of Submodular Functions Using Low-rank Decision Trees

Vitaly Feldman, Pravesh K. Kothari+1 more|arXiv (Cornell University)|Apr 2, 2013

Complexity and Algorithms in Graphs被引用数 22

ひとこと要約

本稿では、ブール超立方体上の任意の下垂関数が、深さ $O(1/\epsilon^2)$ の実数値意思決定木によって $\ell_2$-ノルムで $\epsilon$-近似可能であることが確立されている。これにより、ランタイム $\tilde{O}(n^2) \cdot 2^{O(1/\epsilon^4)}$ の効率的な学習アルゴリズムが得られる。この結果は、一様分布の下での下垂関数の学習に対して、情報理論的かつ計算的下界を初めて明確に示している。

ABSTRACT

We study the complexity of approximate representation and learning of submodular functions over the uniform distribution on the Boolean hypercube $\{0,1\}^n$. Our main result is the following structural theorem: any submodular function is $ε$-close in $\ell_2$ to a real-valued decision tree (DT) of depth $O(1/ε^2)$. This immediately implies that any submodular function is $ε$-close to a function of at most $2^{O(1/ε^2)}$ variables and has a spectral $\ell_1$ norm of $2^{O(1/ε^2)}$. It also implies the closest previous result that states that submodular functions can be approximated by polynomials of degree $O(1/ε^2)$ (Cheraghchi et al., 2012). Our result is proved by constructing an approximation of a submodular function by a DT of rank $4/ε^2$ and a proof that any rank-$r$ DT can be $ε$-approximated by a DT of depth $\frac{5}{2}(r+\log(1/ε))$. We show that these structural results can be exploited to give an attribute-efficient PAC learning algorithm for submodular functions running in time $ ilde{O}(n^2) \cdot 2^{O(1/ε^{4})}$. The best previous algorithm for the problem requires $n^{O(1/ε^{2})}$ time and examples (Cheraghchi et al., 2012) but works also in the agnostic setting. In addition, we give improved learning algorithms for a number of related settings. We also prove that our PAC and agnostic learning algorithms are essentially optimal via two lower bounds: (1) an information-theoretic lower bound of $2^{Ω(1/ε^{2/3})}$ on the complexity of learning monotone submodular functions in any reasonable model; (2) computational lower bound of $n^{Ω(1/ε^{2/3})}$ based on a reduction to learning of sparse parities with noise, widely-believed to be intractable. These are the first lower bounds for learning of submodular functions over the uniform distribution.

研究の動機と目的

• 低ランクの意思決定木による下垂関数の構造的特徴付けを提供し、近似と学習の両面で効率を実現すること。
• 一様分布の下で、先行研究より優れたランタイムを達成する属性効率的なPAC学習アルゴリズムを設計すること。
• 下垂関数の学習に対して、情報理論的かつ計算的下界を初めて確立し、提案されたアルゴリズムの最適性を示すこと。
• 意思決定木のランクとスペクトル的性質を活用することで、近似理論と学習アルゴリズムのギャップを埋めること。

提案手法

• 著者らは、複雑さのランクに基づく測度を用いて、下垂関数を低ランクの意思決定木として表現する分解技術を導入した。
• 任意の下垂関数が、ランクが $4/\epsilon^2$ 以下の意思決定木により $\ell_2$-ノルムで $\epsilon$-近似可能であることを証明した。
• 主要な技術的要素として、任意のランク $r$ の意思決定木が、深さ $\frac{5}{2}(r + \log(1/\epsilon))$ の意思決定木により $\epsilon$-近似可能であることを示した。
• 学習アルゴリズムは、この構造的結果を活用して、サンプリングとしきい値処理により仮説関数を構築し、$\tilde{O}(n^2) \cdot 2^{O(1/\epsilon^4)}$ のランタイムを達成した。
• 下界は、広く信じられている難解な問題である「ノイズ付きスパースパリティの学習」への還元によって導出された。
• 任意のブール関数から単調下垂関数を構成する手法により、下界を確立する還元が可能になった。

実験結果

リサーチクエスチョン

• RQ1 下垂関数は、低ランクの意思決定木を用いて効率的に近似可能か？
• RQ2 $\ell_2$-ノルムで任意の下垂関数を $\epsilon$-近似するための、最小の深さまたはランクは何か？
• RQ3 このような近似は、下垂関数のより効率的なPAC学習アルゴリズムを可能にするか？
• RQ4 一様分布の下での下垂関数の学習には、本質的な制限があるか？
• RQ5 クエリ複雑度やランタイムの観点から、下垂関数の学習に対してタイトな下界を確立できるか？

主な発見

• 任意の下垂関数は、深さ $O(1/\epsilon^2)$ の実数値意思決定木により $\ell_2$-ノルムで $\epsilon$-近似可能である。
• 同じ結果から、下垂関数は、高々 $2^{O(1/\epsilon^2)}$ 個の変数を持つ関数で近似可能であり、スペクトルの $\ell_1$-ノルムは $2^{O(1/\epsilon^2)}$ で有界であることが示された。
• 提案されたPAC学習アルゴリズムのランタイムは $\tilde{O}(n^2) \cdot 2^{O(1/\epsilon^4)}$ であり、以前の $n^{O(1/\epsilon^2)}$ の境界を改善した。
• 単調下垂関数の学習に対して、情報理論的下界 $2^{\Omega(\epsilon^{-2/3})}$ 個の値クエリが必要であることが確立された。
• スパースパリティのノイズ付き学習への還元により、計算的下界 $n^{\Omega(\epsilon^{-2/3})}$ が証明された。
• 本稿は、一様分布上での下垂関数の学習に対する最初の下界を提供し、提案されたアルゴリズムがほぼ最適であることを示した。