[論文レビュー] Detecting Correlations with Little Memory and Communication

Yuval Dagan, Ohad Shamir|arXiv (Cornell University)|Mar 4, 2018

Machine Learning and Algorithms参考文献 17被引用数 3

ひとこと要約

この論文は、高次元データにおける対ごとの相関を検出する際の、メモリ/通信複雑さとサンプル複雑さの間のタイトな情報理論的トレードオフを確立している。最適なサンプル複雑さで相関を検出するには、少なくともΩ(d²)のメモリまたは通信ビットが必要であることを証明しており、これは、ナードストリーミングまたは分散型アプローチがこの領域で情報理論的に最適であることを示している。

ABSTRACT

We study the problem of identifying correlations in multivariate data, under information constraints: Either on the amount of memory that can be used by the algorithm, or the amount of communication when the data is distributed across several machines. We prove a tight trade-off between the memory/communication complexity and the sample complexity, implying (for example) that to detect pairwise correlations with optimal sample complexity, the number of required memory/communication bits is at least quadratic in the dimension. Our results substantially improve those of Shamir [2014], which studied a similar question in a much more restricted setting. To the best of our knowledge, these are the first provable sample/memory/communication trade-offs for a practical estimation problem, using standard distributions, and in the natural regime where the memory/communication budget is larger than the size of a single data point. To derive our theorems, we prove a new information-theoretic result, which may be relevant for studying other information-constrained learning problems.

研究の動機と目的

• メモリ制約または通信制約下での多次元データにおける相関の根本的限界を理解すること。
• 実用的な統計的推定問題に関して、メモリ/通信複雑さとサンプル複雑さの間のタイトなトレードオフを確立すること。
• メモリ/通信予算が1つのデータポイントのサイズを上回る領域における、相関検出の情報理論的限界を分析すること。
• 情報制約下での他の学習問題に適用可能な、新しい情報理論的フレームワークの構築すること。

提案手法

• メモリまたは通信制約下での、ゼロ平均の高次元データにおける対ごとの相関の検出問題を形式化する。
• ホーフィングの不等式と和集合の不等式を用いて、制約なし検出のためのベースラインサンプル複雑さを確立する。
• データをバッチ処理するか、限られた通信量で処理するストリーミングおよび分散アルゴリズムを分析し、リソース使用量とサンプルサイズの間のトレードオフを示す。
• 新しい情報理論的結果を導入し、メモリおよび通信複雑さの下界を証明する。
• 集中不等式と組み合わせ的議論を用いて、モーメント生成関数内の項の和をバウンドし、2次未塔のメモリ/通信が最適でないサンプル複雑さをもたらすことを証明する。
• フレームワークをストリーミングおよび分散設定の両方へ適用し、一定の成功確率で相関を検出するには、メモリと合計処理データ量の積がΩ(d²/ρ²)以上である必要があることを示す。

実験結果

リサーチクエスチョン

• RQ1 最適なサンプル複雑さで高次元データにおける対ごとの相関を検出するために、必要な最小メモリ量はどれくらいか？
• RQ2 分散相関検出において、通信複雑さはサンプル複雑さにどのように影響するか？
• RQ3 1つの相関ペアを1回ずつ処理するナードアプローチは、メモリ-サンプル複雑さトレードオフの観点から改善可能か？
• RQ4 相関検出におけるメモリとサンプルサイズの積の根本的な情報理論的限界は何か？
• RQ5 モデルの仮定や適用範囲の観点から、Raz (2016) よりも先行研究と比較して、結果はどのように異なるか？

主な発見

• 最適なサンプル複雑さを達成するには、メモリまたは通信がΩ(d²)以上である必要があるというタイトなトレードオフが証明された。
• 一定確率で相関を検出するには、メモリサイズと合計処理データポイント数の積がΩ(d²/ρ²)以上である必要があり、2次未塔のメモリは最適でないサンプル複雑さをもたらすことを示唆している。
• この下界は、メモリ/通信予算が1つのデータポイントのサイズを上回る場合でも成り立つ。これは、先行研究とは明確に異なる重要な特徴である。
• 標準的な分布を用いた実用的問題に対する、最初の明示的なサンプル/メモリ/通信トレードオフを確立した。
• Shamir (2014) よりも、より広範かつ自然なメモリおよび通信制約の範囲を考慮しているため、結果が向上している。
• ナードアプローチ（1つのペアずつ処理）が情報理論的に最適であり、より良いトレードオフを達成できるアルゴリズムは存在しないことが分析で示された。