[論文レビュー] List Decodable Subspace Recovery

Prasad Raghavendra, Morris Yau|arXiv (Cornell University)|Feb 7, 2020

Sparse and Compressive Sensing Techniques参考文献 15被引用数 8

ひとこと要約

この論文は、和の平方（SoS）認証とロバスト推定を活用して、外れ値によって汚染されたデータから低次元部分空間を回復するリスト・デコード可能なアルゴリズムを提示する。アンチコンセントレーションと有界ノイズの下で、この手法は誤差境界が $\mathcal{O}(\varepsilon/\eta^2 + ck\eta)$ にスケーリングすることを確立しており、$\varepsilon$ はノイズを制御し、$\eta$ はアンチコンセントレーションを制御する。これにより、敵対的汚染に対しても安定した回復が可能になる。

ABSTRACT

Learning from data in the presence of outliers is a fundamental problem in statistics. In this work, we study robust statistics in the presence of overwhelming outliers for the fundamental problem of subspace recovery. Given a dataset where an $α$ fraction (less than half) of the data is distributed uniformly in an unknown $k$ dimensional subspace in $d$ dimensions, and with no additional assumptions on the remaining data, the goal is to recover a succinct list of $O(\frac{1}α)$ subspaces one of which is nontrivially correlated with the planted subspace. We provide the first polynomial time algorithm for the 'list decodable subspace recovery' problem, and subsume it under a more general framework of list decoding over distributions that are "certifiably resilient" capturing state of the art results for list decodable mean estimation and regression.

研究の動機と目的

• 定数割合のデータ点が敵対的外れ値である状況での部分空間回復のためのロバストなアルゴリズムを開発すること。
• ノイズ下での重尾またはアンチコンセントレート分布を示すデータからの低次元部分空間の回復という課題に取り組むこと。
• 和の平方（SoS）認証と重み付き推定を用いて、回復された部分空間の精度に関する理論的保証を提供すること。
• 理論的ロバスト性と実用的回復のギャップを埋めるために、緩めた解を有効な射影行列に丸め直すこと。

提案手法

• 重み $w_i$ がデータの信頼性を示すように、射影されたデータと真の部分空間との距離を最小化する重み付き経験的損失関数を用いる。
• アンチコンセントレーションを活用して、データと摂動ベクトル間の内積の下界を導出するため、和の平方（SoS）認証を用いる。
• SoS導出により、$\|P - \Pi P\|_F^2$ のフロベニウスノルムの上限を導出し、これと総誤差 $\varepsilon$ およびアンチコンセントレーションパラメータ $\eta$ を関連付ける。
• 誤差 $P - \Pi P$ の誤差と全射影誤差を関連付ける重要な補題を用いて、$\|P - \Pi\|_F^2$ の上限を導出する。
• 出力行列 $\Pi_i$ を、上位 $k$ 個の固有ベクトルに射影することで丸め、有効なランク $k$ の射影行列を取得する。
• 重み合計 $P^{(\alpha)}_{\text{sum}}(\bm{w})$ の制約を用いて重み合計を正規化し、最終的な誤差境界の安定性を確保する。

実験結果

リサーチクエスチョン

• RQ1 リスト・デコード可能な部分空間回復アルゴリズムは、敵対的外れ値およびアンチコンセントレート分布を示すデータ分布下でも誤差が有界に保たれるか？
• RQ2 ノイズレベル $\varepsilon$、アンチコンセントレーション $\eta$、次元 $k$ の間の相互作用が回復誤差にどのように影響するか？
• RQ3 クリーンなデータが定数割合しか存在しない場合、部分空間回復における理論的限界は何か？
• RQ4 和の平方（SoS）認証を用いて、射影誤差のフロベニウスノルムのタイトな境界を導出できるか？
• RQ5 SoSプログラムの緩めた非射影行列出力を、誤差損失が制御された有効な射影行列に丸め直す方法は何か？

主な発見

• アルゴリズムは、$\|P - \Pi\|_F^2 \leq \mathcal{O}(\varepsilon/\eta^2 + ck\eta)$ のフロベニウスノルム誤差境界を達成する。ここで $\varepsilon$ は全ノイズエネルギー、$\eta$ はアンチコンセントレーションを制御する。
• 誤差境界は $\eta^2$ に反比例してスケーリングされるため、データ分布のアンチコンセントレーションが強いほどロバスト性が向上することが示唆される。
• 出力行列の上位 $k$ 個の固有ベクトルへの射影による丸め処理は、誤差に対して定数倍の損失しか生じず、理論的保証を保持する。
• 最終的な誤差境界は重み合計 $\sum_i w_i$ で正規化されており、データ信頼性の変動に対しても安定性が保証される。
• この手法はSoS認証を用いて $\|P - \Pi P\|_F^2$ のタイトな境界を導出し、その後、重要な補題を用いて $\|P - \Pi\|_F^2$ の境界に変換する。
• 解析により、クリーンなデータがアンチコンセントレーションを満たしている限り、最大定数割合のデータ点が外れ値であっても、アルゴリズムが有効に機能することが示された。