[論文レビュー] Robust Blockwise Random Pivoting: Fast and Accurate Adaptive Interpolative Decomposition

Yijun Dong, Chao Chen+2 more|arXiv (Cornell University)|Sep 27, 2023

Sparse and Compressive Sensing TechniquesEngineering被引用数 3

ひとこと要約

本稿では、高速かつ高精度な分解を実現する、並列処理可能で誤差を露わにし、正確なIDを明らかにするアルゴリズムとして、ロバスト・ブロックワイズ・ランダムピボット法（RBRP）を提案する。RBRPは、近似的に最適なスケルトン複雑度と漸近的効率性を達成しながら、自動ランク検出と正確な補間行列構築を可能にし、多様なデータセットにおけるロバスト性と実験的性能で既存手法を上回る。

ABSTRACT

The interpolative decomposition (ID) aims to construct a low-rank approximation formed by a basis consisting of row/column skeletons in the original matrix and a corresponding interpolation matrix. This work explores fast and accurate ID algorithms from comprehensive perspectives for empirical performance, including accuracy in both skeleton selection and interpolation matrix construction, efficiency in terms of asymptotic complexity and hardware efficiency, as well as rank adaptiveness. While many algorithms have been developed to optimize some of these aspects, practical ID algorithms proficient in all aspects remain absent. To fill in the gap, we introduce robust blockwise random pivoting (RBRP) that is asymptotically fast, hardware-efficient, and rank-adaptive, providing accurate skeletons and interpolation matrices comparable to the best existing ID algorithms in practice. Through extensive numerical experiments on various synthetic and natural datasets, we demonstrate the appealing empirical performance of RBRP from the aforementioned perspectives, as well as the robustness of RBRP to adversarial inputs.

研究の動機と目的

• スケルトン複雑度、漸近的複雑度、並列処理可能性、誤差を露わにする能力、IDを正確に明らかにする能力を同時に最適化する実用的なIDアルゴリズムの不足を解消すること。
• 既存のアルゴリズムのギャップを埋めるために、実験的ID性能における5つの主要なパフォーマンス視点を統合する手法を導入すること。
• 敵対的入力に対して耐性があり、未知のターゲットランクを有する実世界のデータに適した、ロバストでスケーラブルかつ適応可能なIDアルゴリズムを開発すること。
• 事前にターゲットランクを知ることなく自動ランク検出を可能にし、最小限のスケルトンで低補間誤差を確保すること。

提案手法

• RBRPは、ブロック単位のランダムピボットを選択することで、スケルトン列を一括して選択し、ランダムネスを活用して貪欲選択の欠険を回避し、ロバスト性を向上させる。
• 各ブロック内で残差ノルムに基づいて冗長または条件数が悪い点を除外するロバストフィルタリングを用いることで、選択の質を向上させる。
• スケルトン化誤差をモニタリングし、ターゲット許容誤差に達するまでスケルトン数を動的に調整することで、誤差を露わにする性質を維持する。
• スケルトン選択プロセスを活用して、明示的なSVDや擬似逆行列計算を回避し、$o(ndk)$時間で補間行列を効率的に計算することで、正確なIDを明らかにする能力を確保する。
• RBRPは、計算のボトル neck を行列同士の積として表現するように設計されており、GPU や分散処理での効率的実行を可能にする、並列処理が可能な構造となっている。
• 精度と効率のバランスを図るため、適応的オーバーサンプリングとランダム化を統合し、特に高次元および敵対的環境で優れた効果を発揮する。

実験結果

リサーチクエスチョン

• RQ1 ランダム化され、ブロックワイズのピボット戦略は、IDアルゴリズムにおいて近似的に最適なスケルトン複雑度を達成しながら、低い漸近的計算コストを維持できるか？
• RQ2 提案されたRBRP手法は、ターゲットランクを事前に知らずに、誤差を露わにする性質によって自動ランク検出を可能にするか？
• RQ3 既存手法と比較して、RBRPは並列処理可能であること、正確なIDを明らかにできること、敵対的データ入力に対してロバストであることを同時に達成できるか？
• RQ4 合成および自然データセットにおいて、RBRPはスケルトン複雑度、補間誤差、実行時間の観点で、スケッチ的ピボット、貪欲法、サンプリングベース手法と比較してどう異なるか？

主な発見

• RBRPは、すべてのテスト済みアルゴリズムの中で最も優れたスケルトン複雑度を達成しており、スケルトン化誤差の推定値が補間誤差と密接に一致しており、誤差を露わにする性質と正確なIDを明らかにする性質が裏付けられている。
• SkLUPP/SkCPQRなどのスケッチ的ピボットよりわずかにスケルトン選択時間が長くても、補間行列の構築がより効率的で補間誤差が低いため、全体としてRBRPが高速である。
• スケッチ的ピボットはスケルトン選択が速いが、RBRPは補間精度が優れており、速度と精度のトレードオフにおいて優れた性能を示している。
• RBRPは、クラスタリングや構造的データなどの敵対的入力に対してもロバストである。一方、SqNormのようなサンプリングベース手法は深刻に失敗するが、RBRPは安定した性能を維持する。
• 敵対的でないデータセットでは、RBRPは最先端の手法と同等またはより優れたスケルトン複雑度を達成し、誤差を露わにしない代替手法よりも顕著に低い補間誤差を示す。
• RBRPの性能は100スケルトンを超えると安定し、さらに向上する。これは、残差ノルムがおおよそi.i.d.ガウス分布に近づくことから、貪欲選択よりもブロックワイズランダム化の有効性が裏付けられている。