[論文レビュー] Optimal Bounds on Approximation of Submodular and XOS Functions by Juntas

Vitaly Feldman, Jan Vondrák|arXiv (Cornell University)|Jul 12, 2013

Machine Learning and Algorithms参考文献 44被引用数 25

ひとこと要約

この論文は、一様分布の下で、変数の少数に依存する関数（ジャンタ）による、劣微分関数およびXOS関数の近似に関するタイトな境界を確立している。[0,1]の範囲にある劣微分関数は、ℓ₂ノルムでε近似可能であり、そのジャンタのサイズはÕ(1/ε²)である。これは、先行研究に比べて指数的改善であり、XOS関数は2^{O(1/ε²)}個の変数を必要とし、Friedgutの定理の実数値一般化と一致する。

ABSTRACT

We investigate the approximability of several classes of real-valued functions by functions of a small number of variables ({\em juntas}). Our main results are tight bounds on the number of variables required to approximate a function $f:\{0,1\}^n ightarrow [0,1]$ within $\ell_2$-error $ε$ over the uniform distribution: 1. If $f$ is submodular, then it is $ε$-close to a function of $O(\frac{1}{ε^2} \log \frac{1}ε)$ variables. This is an exponential improvement over previously known results. We note that $Ω(\frac{1}{ε^2})$ variables are necessary even for linear functions. 2. If $f$ is fractionally subadditive (XOS) it is $ε$-close to a function of $2^{O(1/ε^2)}$ variables. This result holds for all functions with low total $\ell_1$-influence and is a real-valued analogue of Friedgut's theorem for boolean functions. We show that $2^{Ω(1/ε)}$ variables are necessary even for XOS functions. As applications of these results, we provide learning algorithms over the uniform distribution. For XOS functions, we give a PAC learning algorithm that runs in time $2^{poly(1/ε)} poly(n)$. For submodular functions we give an algorithm in the more demanding PMAC learning model (Balcan and Harvey, 2011) which requires a multiplicative $1+γ$ factor approximation with probability at least $1-ε$ over the target distribution. Our uniform distribution algorithm runs in time $2^{poly(1/(γε))} poly(n)$. This is the first algorithm in the PMAC model that over the uniform distribution can achieve a constant approximation factor arbitrarily close to 1 for all submodular functions. As follows from the lower bounds in (Feldman et al., 2013) both of these algorithms are close to optimal. We also give applications for proper learning, testing and agnostic learning with value queries of these classes.

研究の動機と目的

• 一様分布の下で、ℓ₂ノルムにおいてε近似可能な劣微分関数を近似するための最小ジャンタサイズを特定すること。
• 全ℓ₁インフォーマンスが小さい関数クラスを特徴付けることにより、ブール関数に関するFriedgutの定理を実数値関数へ一般化すること。
• XOS関数をジャンタで近似するための最適境界を確立し、そのタイトさを示すこと。
• ジャンタ近似結果をコアコンponentsとして用いて、劣微分関数およびXOS関数のための効率的学習アルゴリズムを開発すること。
• これらの境界が、劣微分およびXOSクラスの適切な学習、テスト、およびアグノスティック学習に与える影響を調査すること。

提案手法

• 新規構造的解析を用いて、[0,1]の範囲にある劣微分関数が、O(1/ε² log(1/ε))個の変数に依存する関数とℓ₂ノルムでε近接することを証明する。
• 任意の関数が定数の全ℓ₁インフォーマンスを持つ場合、2^{O(1/ε²)}-ジャンタによってε近似可能であることを示すことにより、Friedgutの定理を実数値関数へ一般化する。
• XOS関数ですらも、2^{Ω(1/ε)}個の変数が必要である下界を確立し、上界のタイトさを証明する。
• ジャンタ近似結果を活用して、実行時間2^{1/poly(γε)} poly(n)のPMAC学習アルゴリズムを設計し、(1+γ)-近似を達成する。
• 値クエリオラクルおよびスパースℓ₁レグレッション技術を活用して、全ℓ₁インフォーマンスがa未満の関数に対して、ℓ₁誤差のアグノスティック学習を達成する。
• 集中法およびインフォーマンスに基づく分解技術を用いて、ジャンタ近似における関連変数の数を抑え込む。

実験結果

リサーチクエスチョン

• RQ1 一様分布の下で、ℓ₂ノルムにおいてε近似可能な劣微分関数を近似するための最適なジャンタサイズは何か？
• RQ2 全ℓ₁インフォーマンスが小さい実数値関数に対して、ブール関数に関するFriedgutの定理を一般化できるか？
• RQ3 XOS関数に対して2^{O(1/ε²)}-ジャンタの境界はタイトか？また、ε近似に必要な最小サイズは何か？
• RQ4 ジャンタ近似をコアコンponentsとして用いて、劣微分関数およびXOS関数のための効率的学習アルゴリズムを構築できるか？
• RQ5 これらの境界が、劣微分およびXOSクラスの適切な学習、テスト、およびアグノスティック学習に与える影響は何か？

主な発見

• 範囲[0,1]の劣微分関数は、ℓ₂ノルムでÕ(1/ε²)サイズのジャンタとε近接しており、対数要因を除いて最適である。
• XOS関数は、ℓ₂ノルムで2^{O(1/ε²)}-ジャンタとε近接しており、この境界は指数部の定数を除いてタイトである。
• XOS関数ですらも、2^{Ω(1/ε)}個の変数が必要である下界が存在し、2^{O(1/ε²)}上界が漸近的にタイトであることを証明する。
• 本論文は、(1+γ)-近似因子を1に限りなく近づけることができる、劣微分関数のための初のPMAC学習アルゴリズムを提供する。実行時間は2^{1/poly(γε)} poly(n)である。
• アグノスティック学習において、全ℓ₁インフォーマンスがa未満の関数は、値クエリを用いて、時間poly(n) · 2^{O(a²/ε⁴)}で学習可能である。
• 結果として、Friedgutの定理が実数値関数へ一般化され、低インフォーマンス関数が2^{O(1/ε²)}サイズのジャンタによって近似可能であることが示された。