[論文レビュー] A Fast Greedy Algorithm for Generalized Column Subset Selection

Ahmed Farahat, Ali Ghodsi+1 more|arXiv (Cornell University)|Dec 24, 2013

Sparse and Compressive Sensing Techniques参考文献 23被引用数 7

ひとこと要約

本稿では、ソース行列Aの列から、ターゲット行列Bの列空間を最もよく近似する列の部分集合を選択する一般化された列サブセット選択問題に対する高速なグリーディアルゴリズムを提案する。この手法は、各ステップでの残差誤差を効率的に計算するために再帰的投影更新を用いる。これにより、スパース近似、SVDに基づく選択、無教師特徴選択といった問題が、理論的・実験的優位性を伴って効率的に解けるようになる。

ABSTRACT

This paper defines a generalized column subset selection problem which is concerned with the selection of a few columns from a source matrix A that best approximate the span of a target matrix B. The paper then proposes a fast greedy algorithm for solving this problem and draws connections to different problems that can be efficiently solved using the proposed algorithm.

研究の動機と目的

• 従来のCSSを拡張し、ソース行列Aの列を用いてターゲット行列Bを近似する一般化された列サブセット選択問題を定式化すること。
• 選択された列の張る空間へのBの射影との残差のフロベニウスノルムを最小化するように、列を段階的に選択する計算効率の良いグリーディアルゴリズムを開発すること。
• 提案されたアルゴリズムが、スパース近似、SVDに基づく選択、分散型列選択といった多様な問題を解けることを示すこと。
• スパース復元および特徴選択分野における既存のグリーディ手法を統合・改善する統一されたフレームワークを提供すること。

提案手法

• 選択済み列の張る空間への射影後の残差フロベニウスノルムを最小化するように、1列ずつ列を段階的に選択する。
• 選択後に残差行列 E = A - P^(P)A を用いて、投影行列を再帰的に更新する式を用いる。
• ブロック行列の逆行列におけるシュール補完のキーパートが、再計算を伴わずに投影行列の更新を効率的に行うことを可能にする。
• 計算コストを低減するために、投影行列の推定値を継続的に保持し、残差および選択された列の情報を用いて更新する。
• この手法はスパース近似における直交最小二乗法と同等であり、辞書学習やマッチング pursuit 問題への直接適用が可能である。
• 計算量がブルートフォースな組み合わせ的探索よりも著しく低いため、スケーラビリティと効率性に優れている。

実験結果

リサーチクエスチョン

• RQ1 ソース行列Aの列から、ターゲット行列Bの列空間を最もよく近似するように、高速なグリーディアルゴリズムを開発できるか？
• RQ2 本手法は、既存の列サブセット選択およびスパース近似手法と比較して、効率性と正確性の点で優れているか？
• RQ3 一般化された列サブセット選択問題は、スパース近似やSVDに基づく選択といった既存の問題をどのように統合・一般化できるか？
• RQ4 再帰的投影更新をグリーディ選択プロセスに用いることの理論的・実用的利点は何か？

主な発見

• 提案されたグリーディアルゴリズムは、最適解を求めるブルートフォース法と比較して、計算コストを顕著に低減しており、最適解のO(n^l m r l)からO(n l m r)にスケーリングされる。
• このアルゴリズムはスパース近似における直交最小二乗法と同等であり、広く用いられるこの手法の新たな効率的実装を提供する。
• 無教師特徴選択の分野において、最先端の手法を上回り、ベンチマークデータセットで優れたクラスタリング性能を達成した。
• ランダム射影によるターゲット行列のコンact表現を用いることで、分散型列サブセット選択を効率的に実現できる。
• 理論的解析により、シュール補完を用いた再帰的投影更新が数値安定性を維持し、投影行列の正確な段階的計算を可能にすることが示された。