[論文レビュー] Learning and Testing Junta Distributions with Subcube Conditioning

Xi Chen, Rajesh Jayaram+2 more|arXiv (Cornell University)|Apr 26, 2020

Machine Learning and Algorithms参考文献 55被引用数 6

ひとこと要約

本稿では、サブキューブ条件付きを用いた $k$-junta分布の学習およびテストの最適アルゴリズムを提示する。学習には $\tilde{O}(k/\epsilon^2)\log n + O(2^k/\epsilon^2)$ クエリ、テストには $\tilde{O}((k+\sqrt{n})/\epsilon^2)$ クエリを必要とし、両者とも多対数要因を除いて最適である。本手法は、関連する変数を特定し、分布の構造を効率的にテストするための、新規の再帰的サブキューブ条件付きフレームワークを活用している。

ABSTRACT

We study the problems of learning and testing junta distributions on $\{-1,1\}^n$ with respect to the uniform distribution, where a distribution $p$ is a $k$-junta if its probability mass function $p(x)$ depends on a subset of at most $k$ variables. The main contribution is an algorithm for finding relevant coordinates in a $k$-junta distribution with subcube conditioning [BC18, CCKLW20]. We give two applications: 1. An algorithm for learning $k$-junta distributions with $ ilde{O}(k/ε^2) \log n + O(2^k/ε^2)$ subcube conditioning queries, and 2. An algorithm for testing $k$-junta distributions with $ ilde{O}((k + \sqrt{n})/ε^2)$ subcube conditioning queries. All our algorithms are optimal up to poly-logarithmic factors. Our results show that subcube conditioning, as a natural model for accessing high-dimensional distributions, enables significant savings in learning and testing junta distributions compared to the standard sampling model. This addresses an open question posed by Aliakbarpour, Blais, and Rubinfeld [ABR17].

研究の動機と目的

• 高次元空間における一様分布下での $k$-junta分布の学習とテストにおける計算的課題に取り組むこと。
• 標準的なサンプリングモデルに内在する「次元の呪い」を克服するため、より強力なオракルモデルとしてサブキューブ条件付きを導入すること。
• 標準的なサンプリングモデルにおける既存のサンプル複雑度を改善する、$k$-junta分布の学習およびテストの最適アルゴリズムを設計すること。
• Aliakbarpour, Blais, および Rubinfeld (2017) が提起した、サブキューブ条件付きの能力がjunta分布問題に与える影響に関する未解決問題を解消すること。

提案手法

• 関連する変数を特定するために、反復的に座標の部分集合に対して条件付きを適用する再帰的サブキューブ条件付きフレームワークを構築する。
• 各レベルで確率を徐々に低下させるように、ドメインの階層的分解を用いる。これにより、関連する変数集合の効率的な探索が可能になる。
• 重要な構造的補題として、分布と一様分布との全 Variation 距離を、制限されたサブキューブ上での平均ベクトルの期待 $\ell_2$-ノルムで評価する。
• 統計的正確性を保ちながら、必要な条件付きサンプルの数を削減するため、バッチ圧縮技術を採用する。
• 非一様性を検出するサブルーチンとして、ロバストな平均値テストを用い、関連する変数の特定を可能にする。
• スターチェイン集合に関する確率的バウンドと集中不等式を組み合わせることで、再帰的レベル間での誤差伝搬を制御する。

実験結果

リサーチクエスチョン

• RQ1 標準的なサンプリングと比較して、サブキューブ条件付きは $k$-junta分布の学習におけるクエリ複雑度を著しく低減できるか？
• RQ2 サブキューブ条件付きを用いた場合、分布が $k$-juntaであるかどうかをテストする最適なクエリ複雑度は何か？
• RQ3 サブキューブに対する条件付きクエリを用いて、$k$-junta分布の関連する変数をどのように効率的に特定できるか？
• RQ4 サブキューブ条件付きは、高次元分布の学習およびテストにおいて、次元の呪いをどの程度軽減できるか？

主な発見

• 学習アルゴリズムは $\tilde{O}(k/\epsilon^2)\log n + O(2^k/\epsilon^2)$ のサブキューブ条件付きクエリを達成し、多対数要因を除いて最適である。
• テストアルゴリズムは $\tilde{O}((k + \sqrt{n})/\epsilon^2)$ のサブキューブ条件付きクエリを必要とし、情報理論的下界と対数要因を除いて一致する。
• 本稿で提示されたアルゴリズムは、サブキューブ条件付き下で、学習およびテストの両方において、初めてクエリ複雑度が最適となるものである。
• フレームワークは、高次元junta分布において、標準的なサンプリングモデルと比較して指数的削減が可能であることを示している。
• 構造的補題により、全 Variation 距離と制限されたサブキューブ上での平均ベクトルの $\ell_2$-ノルムの間の関係が確立され、再帰的解析が可能になる。
• Aliakbarpour, Blais, および Rubinfeld (2017) が提起した、サブキューブ条件付きの能力がjunta分布問題に与える影響に関する未解決問題を解決した。