[論文レビュー] Online and Differentially-Private Tensor Decomposition

Yining Wang, Animashree Anandkumar|arXiv (Cornell University)|Jun 20, 2016

Tensor decomposition and applications被引用数 13

ひとこと要約

本論文は、ノイズ補正テンソルパワー法を用いて、最初のオンラインで微分プライバシーを満たすテンソル分解アルゴリズムを提案する。線形メモリ使用量と強力なプライバシー保証を達成する。非一様性仮定の下で、プライバシーのパラメータがテンソル次元に多項式的に依存しないことを示す最初の理論的分析を提供し、先行研究に比べてノイズ耐性を著しく向上させる。

ABSTRACT

In this paper, we resolve many of the key algorithmic questions regarding robustness, memory efficiency, and differential privacy of tensor decomposition. We propose simple variants of the tensor power method which enjoy these strong properties. We present the first guarantees for online tensor power method which has a linear memory requirement. Moreover, we present a noise calibrated tensor power method with efficient privacy guarantees. At the heart of all these guarantees lies a careful perturbation analysis derived in this paper which improves up on the existing results significantly.

研究の動機と目的

• 大規模データ向けの強固でメモリ効率が良く、かつプライバシーを考慮したテンソル分解アルゴリズムの不足を解消すること。
• 完全なテンソルの明示的構築を避けることで、オンラインでのテンソル分解を実現し、線形メモリ使用量を達成すること。
• テンソル分解に対して、初めての微分プライバシー保証を提供し、性能の維持を図ること。
• 洗練された摂動解析を通じて、テンソルパワー法におけるノイズ耐性を向上させること。
• 自然な非一様性仮定の下で、プライバシーのパラメータがテンソル次元に依存しないことを保証すること。

提案手法

• 全テンソルを構築せずにデータストリームを処理するオンラインテンソルパワー法を提案し、d次元テンソルに対してO(d)のメモリ使用量を実現する。
• プライバシーを保持しつつ回復精度を維持できるように、ノイズを適切に補正するテンソルパワー法を導入する。
• 先行研究と比較して著しくノイズ耐性の上限を改善する、新しい摂動解析を導出する。
• テンソルの非一様性仮定を用いて、プライバシーのパラメータが次元dに多項式的に依存しないことを示す。
• i.i.d.データサンプルから順次テンソル成分を計算するために、オンラインの確率的更新を活用する。
• ウェディンの定理と行列摂動境界を用いて、ノイズ下での成分回復を分析する。

実験結果

リサーチクエスチョン

• RQ1 線形メモリ使用量で、ストリーミング環境下で効率的にテンソル分解を実行できるか？
• RQ2 プライバシーのパラメータが次元に多項式的に依存しないまま、テンソル分解で微分プライバシーを達成できるか？
• RQ3 テンソルパワー法はどの程度のノイズに耐えながらも、正確に成分を回復できるか？
• RQ4 ノイズ下での安定なテンソル成分回復に必要な十分な摂動境界は何か？
• RQ5 完全なテンソルの保存や指数的計算を要せず、プライバシー保証を維持できるか？

主な発見

• オンラインテンソルパワー法は、n個のサンプルを持つランク-kテンソルに対して、O(dk)のメモリ使用量と Õ(nk²d) の時間計算量を達成する。
• 提案されたノイズ補正法により、非一様性仮定の下で、テンソル次元dに依存しないプライバシーのパラメータを持つ、初めての微分プライバシー保証が得られる。
• 摂動解析によりノイズ耐性の上限が著しく向上し、従来の手法よりもはるかに高いノイズレベル下でも回復が可能になる。
• テンソル非一様性とノイズ分布の弱い仮定の下で、高い確率でテンソル成分が正しく回復されることを保証する。
• サンプル複雑度の解析により、Õ(nk²d)の時間とO(dk)のメモリで効率的な収束が実現され、大規模ストリーミングデータに適している。
• 理論的保証は、微分プライバシーによるノイズ追加後も成立し、プライバシーと有用性の両方を確保する。