[논문 리뷰] Recovering the Optimal Solution by Dual Random Projection

Lijun Zhang, Mehrdad Mahdavi외 3명|arXiv (Cornell University)|2012. 11. 13.

Sparse and Compressive Sensing Techniques참고 문헌 37인용 수 54

한 줄 요약

이 논문은 랜덤 프로젝션을 통해 유도된 저차원 최적화 문제의 이중 해를 활용하여 고차원 분류 문제의 최적 해를 복원하는 Dual Random Projection을 제안한다. 이 방법은 O(r log r)개의 프로젝션을 사용하여 데이터 행렬의 질량에 따라 오차 한계가 결정되는 고확률 복원을 이론적으로 보장한다. 여기서 r은 행렬의 질량이다.

ABSTRACT

Random projection has been widely used in data classification. It maps high-dimensional data into a low-dimensional subspace in order to reduce the computational cost in solving the related optimization problem. While previous studies are focused on analyzing the classification performance of using random projection, in this work, we consider the recovery problem, i.e., how to accurately recover the optimal solution to the original optimization problem in the high-dimensional space based on the solution learned from the subspace spanned by random projections. We present a simple algorithm, termed Dual Random Projection, that uses the dual solution of the low-dimensional optimization problem to recover the optimal solution to the original problem. Our theoretical analysis shows that with a high probability, the proposed algorithm is able to accurately recover the optimal solution to the original problem, provided that the data matrix is of low rank or can be well approximated by a low rank matrix.

연구 동기 및 목표

• 랜덤 프로젝션을 통한 차원 축소 이후 고차원 기계 학습 문제에서 최적 해를 정확하게 복원하는 데 도전한다.
• 투영된 데이터 기반의 특징 선택 및 모델 해석이 원래 고차원 해와 일치하도록 보장한다.
• 저차원 문제의 이중 해를 활용하여 원래 공간에서의 원래 최적 해를 재구성하는 방법을 개발한다.
• 복원 오차가 고확률로 작아지는 조건을 이론적으로 확립한다.
• O(log 1/ε)회의 반복을 통해 상대 오차 제어를 위한 반복적 확장을 수행한다.

제안 방법

• 고차원 데이터 X ∈ ℝ^{d×n}을 저차원 부분공간으로 매핑하기 위해 가우시안 행렬 R ∈ ℝ^{d×m}을 사용한 랜덤 프로젝션을 적용하여  X̂ = RᵀX / √m를 도출한다.
• 투영된 공간에서 저차원 원래 최적화 문제를 풀어 최적 해 z* ∈ ℝ^m를 구한다.
• 투영된 데이터와 z*에서 평가된 손실 함수의 기울기를 사용하여 저차원 문제의 이중 해 â* ∈ ℝ^n을 계산한다.
• D(y)를 레이블의 대각 블록 행렬로 하여 w̃ = -1/λ X D(y) â*를 통해 원래 고차원 원래 해 w̃를 재구성한다.
• 이중 해 â*를 사용하여 원래 공간에서의 최적 해를 복원함으로써 원래 최적화 문제의 구조와 일致성을 확보한다.
• 투영된 공간에서의 부분문제를 반복적으로 풀고 이중 변수를 갱신하여 상대 오차를 감소시킨다.

실험 결과

연구 질문

• RQ1 랜덤 프로젝션을 통해 얻은 저차원 해로부터 원래 고차원 공간의 최적 해를 정확하게 복원할 수 있는가?
• RQ2 최적 해의 고확률 복원을 보장하기 위해 필요한 최소 랜덤 프로젝션 수는 얼마인가?
• RQ3 데이터 행렬의 질량이 Dual Random Projection 프레임워크에서 복원 오차에 어떻게 영향을 미치는가?
• RQ4 상대 오차 ε을 달성하기 위해 반복적으로 확장할 수 있는가? 이 경우 반복 복잡도는 로그 수준인가?
• RQ5 저차원 문제의 이중 해가 원래 최적 해에 가까운 원래 해를 산출할 수 있는 조건은 무엇인가?

주요 결과

• 제안된 Dual Random Projection 방법은 데이터 행렬의 질량 r에 대해 Ω(r log r)개의 랜덤 프로젝션을 사용하여 최적 해를 고확률로 복원한다.
• 저질량 행렬로 잘 근사되는 데이터 행렬의 경우, 작은 오차 한계로 동일한 복원 보장을 확보할 수 있다.
• 복원 오차는 유한하며, 프로젝션 수가 증가할수록 감소하며, 랜덤 프로젝션 가정 하에 이론적 보장이 있다.
• d ≫ n일지라도, 복원된 해는 원래 최적 해와 작은 오차로 근사되며, 이는 고차원 환경에서도 유효하다.
• 반복적 적용을 통해 상대 오차 ε을 O(log 1/ε)회의 반복으로 달성할 수 있어 고정밀 복원이 가능하다.
• 저차원 공간에서의 이중 해는 원래 공간에서의 원래 최적 해를 재구성하는 데 충분하며, 특징 선택과 같은 작업에서 모델 무결성을 유지한다.