[論文レビュー] Recovering the Optimal Solution by Dual Random Projection

Lijun Zhang, Mehrdad Mahdavi+3 more|arXiv (Cornell University)|Nov 13, 2012

Sparse and Compressive Sensing Techniques参考文献 37被引用数 54

ひとこと要約

本稿では、ランダム射影によって得られる低次元最適化問題の双対解を活用することで、高次元分類問題の最適解を回復する手法であるDual Random Projectionを提案する。この手法は、データ行列のランクに依存する誤差バウンドを伴い、O(r log r)の射影を用いることで、元の最適解の高確率回復を理論的に保証する。

ABSTRACT

Random projection has been widely used in data classification. It maps high-dimensional data into a low-dimensional subspace in order to reduce the computational cost in solving the related optimization problem. While previous studies are focused on analyzing the classification performance of using random projection, in this work, we consider the recovery problem, i.e., how to accurately recover the optimal solution to the original optimization problem in the high-dimensional space based on the solution learned from the subspace spanned by random projections. We present a simple algorithm, termed Dual Random Projection, that uses the dual solution of the low-dimensional optimization problem to recover the optimal solution to the original problem. Our theoretical analysis shows that with a high probability, the proposed algorithm is able to accurately recover the optimal solution to the original problem, provided that the data matrix is of low rank or can be well approximated by a low rank matrix.

研究の動機と目的

• ランダム射影による次元削減の後でも、高次元機械学習問題における最適解を正確に回復する課題に対処すること。
• 射影されたデータに基づく特徴選択およびモデル解釈が、元の高次元解に忠実なままであることを保証すること。
• 低次元問題からの双対解を活用して、元の空間におけるプライマル最適解を再構築する手法を開発すること。
• 回復誤差が小さい条件を理論的に確立し、高確率で成立するようにすること。
• 相対誤差を制御するために、O(log 1/ε)回の反復的拡張を可能にするように手法を拡張すること。

提案手法

• ガウス行列 R ∈ ℝ^{d×m} を用いてランダム射影を適用し、高次元データ X ∈ ℝ^{d×n} を低次元部分空間に写像し、X̂ = RᵀX / √m を得る。
• 射影空間における低次元プライマル最適化問題を解き、最適解 z* ∈ ℝ^m を得る。
• 射影されたデータおよび z* における損失関数の勾配を用いて、低次元問題の双対解 â* ∈ ℝ^n を計算する。
• D(y) をラベルの対角行列とするとき、w̃ = -1/λ X D(y) â* を用いて元の高次元プライマル解 w̃ を再構築する。
• 双対解 â* を用いて、元の最適化問題の構造を保ったまま、元の空間における最適解を回復すること。
• 射影空間における部分問題を解き、双対変数を更新することで反復的に解を精緻化し、相対誤差を低減する。

実験結果

リサーチクエスチョン

• RQ1 ランダム射影によって得られた低次元解から、元の高次元空間における最適解を正確に回復できるか？
• RQ2 最適解の高確率回復を保証するために必要な最小のランダム射影数は何か？
• RQ3 データ行列のランクが、Dual Random Projectionフレームワークにおける回復誤差にどのように影響するか？
• RQ4 反復的に拡張することで、相対誤差 ε を O(log 1/ε) の反復回数で達成できるか？
• RQ5 低次元問題の双対解が、元の最適解に近いプライマル解をもたらす条件は何か？

主な発見

• 提案されたDual Random Projection手法は、データ行列のランク r に対して、Ω(r log r) 個のランダム射影を用いることで、最適解の高確率回復を実現する。
• 低ランク行列でよく近似可能なデータ行列については、小さな誤差バウンドを伴い、同じ回復保証が成り立つ。
• 回復誤差は有界であり、射影数が増加するにつれて減少し、ランダム射影の仮定のもとで理論的保証が得られる。
• d ≫ n であっても、回復された解が元の最適解に小さな誤差で近似されることを保証する。
• 反復的適用により、相対誤差 ε を O(log 1/ε) 回の反復で達成でき、高精度な回復が可能になる。
• 低次元空間における双対解は、元の空間におけるプライマル最適解を再構築するのに十分であり、特徴選択などのタスクにおけるモデルの忠実性を保持する。