[論文レビュー] Optimal Sketching for Trace Estimation

Shuli Jiang, Hai Pham+3 more|arXiv (Cornell University)|Nov 1, 2021

Stochastic Gradient Optimization Techniques参考文献 33被引用数 5

ひとこと要約

本稿では、失敗確率δに対して(1±ε)-近似トレース推定を達成する非適応的スケッチングアルゴリズムを提示し、クエリ複雑度が$O(\sqrt{\log(1/\delta)}/\epsilon + \log(1\delta))$であることを示している。これは理論的下界に$\log\log(1/\delta)$要因を除き一致する。非適応的手法がεおよびδの両方に対して最適な依存関係を達成できることを示すことにより、適応的および非適応的手法の間のギャップを埋めた。

ABSTRACT

Matrix trace estimation is ubiquitous in machine learning applications and has traditionally relied on Hutchinson's method, which requires $O(\log(1/δ)/ε^2)$ matrix-vector product queries to achieve a $(1 \pm ε)$-multiplicative approximation to $ ext{tr}(A)$ with failure probability $δ$ on positive-semidefinite input matrices $A$. Recently, the Hutch++ algorithm was proposed, which reduces the number of matrix-vector queries from $O(1/ε^2)$ to the optimal $O(1/ε)$, and the algorithm succeeds with constant probability. However, in the high probability setting, the non-adaptive Hutch++ algorithm suffers an extra $O(\sqrt{\log(1/δ)})$ multiplicative factor in its query complexity. Non-adaptive methods are important, as they correspond to sketching algorithms, which are mergeable, highly parallelizable, and provide low-memory streaming algorithms as well as low-communication distributed protocols. In this work, we close the gap between non-adaptive and adaptive algorithms, showing that even non-adaptive algorithms can achieve $O(\sqrt{\log(1/δ)}/ε+ \log(1/δ))$ matrix-vector products. In addition, we prove matching lower bounds demonstrating that, up to a $\log \log(1/δ)$ factor, no further improvement in the dependence on $δ$ or $ε$ is possible by any non-adaptive algorithm. Finally, our experiments demonstrate the superior performance of our sketch over the adaptive Hutch++ algorithm, which is less parallelizable, as well as over the non-adaptive Hutchinson's method.

研究の動機と目的

• トレース推定における適応的および非適応的アルゴリズムの性能ギャップ、特に高確率設定でのギャップを解消する。
• 非適応的スケッチングアルゴリズムのクエリ複雑度における理論的ギャップを埋め、εおよびδに最適な依存関係を達成する。
• 非適応的手法がHutch++のような適応的アルゴリズムの効率性を再現しつつ、並列性および低メモリストリーミングにおける利点を維持できることを示す。
• 任意の非適応的アルゴリズムが、$\log\log(1/\delta)$要因を除き、導出されたクエリ複雑度をさらに改善できないことを示すタイトな下界を確立する。
• 実験的妥当性を提供し、提案されたスケッチが、特に分散環境およびストリーミング環境において、非適応的Hutchinsonおよび適応的Hutch++の両方を実用的に上回ることを示す。

提案手法

• クエリ複雑度を最適化するため、確率的行列-ベクトルクエリと分散低減技術を組み合わせた新しい非適応的スケッチングアルゴリズムを設計する。
• 次元に依存しない分布をクエリベクトルに用いることで、さまざまな行列次元にわたるロバスト性とスケーラビリティを確保する。
• 高度な集中不等式およびKLダイバージェンス解析を用い、分布間の全 Variation 距離をバウンドし、特定の条件下での識別不能性を証明する。
• Pinskerの不等式および条件付きKLダイバージェンスを活用し、識別アルゴリズムの失敗確率の下界を導出し、クエリ複雑度の下界を導出する。
• 改良されたNA-Hutch++アルゴリズムのバージョンを導入し、高い確率で達成可能なクエリ複雑度を示す、より洗練された解析を提供する。
• ガウス混合モデルを用いてハードインスタンスを構築し、情報理論的議論を用いて、任意の非適応的アルゴリズムが確率1−δで成功するためには、$\Omega(\sqrt{\log(1/\delta)}/\epsilon + \log(1/\delta))$のクエリを必要とすることを証明する。

実験結果

リサーチクエスチョン

• RQ1 非適応的スケッチングアルゴリズムは、Hutch++のような適応的アルゴリズムと同等のクエリ複雑度を達成できるか？
• RQ2 非適応的トレース推定アルゴリズムにおけるクエリ複雑度のεおよびδへの最適な依存関係は何か？
• RQ3 非適応的手法のクエリ複雑度をさらに低減できる上限は根本的に存在するか？ その上限は何か？
• RQ4 提案されたアルゴリズムは、実用的に非適応的Hutchinsonおよび適応的Hutch++を上回ることができるか？ 特に高並列性またはストリーミング環境においては？
• RQ5 非適応的トレース推定におけるクエリ複雑度の理論的下界はどれほどタイトか？ そして、対数要因を除いて上界と一致するか？

主な発見

• 提案された非適応的スケッチングアルゴリズムは、$O(\sqrt{\log(1/\delta)}/\epsilon + \log(1/\delta))$のクエリ複雑度を達成し、理論的下界に$\log\log(1/\delta)$要因を除き一致する。
• アルゴリズムは、εおよびδの両方に対して最適な依存関係を達成することで、非適応的および適応的手法のギャップを埋め、長年の未解決問題を解決した。
• 一致する下界が証明された：任意の非適応的アルゴリズムは、$\Omega(\sqrt{\log(1/\delta)}/\epsilon + \log(1/\delta))$のクエリ複雑度を下回ることはできず、$\log\log(1/\delta)$要因を除き、これ以上改善できない。
• 実験では、収束速度および並列性の観点で、提案されたスケッチが非適応的Hutchinsonおよび適応的Hutch++の両方を上回ることが示された。
• アルゴリズムは強力な理論的保証を維持しながら、高並列性および低メモリストリーミングおよび分散コンピューティング環境に適した特性を有する。
• 解析により、任意の非適応的アルゴリズムが2つの分布を識別する失敗確率はδ以上に下界され、特定の設定では$\Omega(\log(1/\delta)/\log\log(1/\delta))$のクエリが必要であることが示された。