[논문 리뷰] Sketching Meets Random Projection in the Dual: A Provable Recovery Algorithm for Big and High-dimensional Data

Jialei Wang, Jason D. Lee외 3명|arXiv (Cornell University)|2016. 10. 10.

Sparse and Compressive Sensing Techniques참고 문헌 32인용 수 4

한 줄 요약

이 논문은 고차원, 대규모 머신러닝 문제에서 최적 해를 복원하는 데 있어 반복적 헤시안 스케칭과 조건부 공액 경사법을 통한 이중 무작위 투영을 조합함으로써 가속화하는 원시-이중 스케칭 알고리즘을 제안한다. 이 알고리즘은 로그 수준의 스케칭 반복 횟수로 증명 가능한 수렴성을 확보하며, 원시-이중 최적화를 통해 표본 크기와 차원을 동시에 감소시켜 임의의 정밀도 복원을 달성한다.

ABSTRACT

Sketching techniques have become popular for scaling up machine learning algorithms by reducing the sample size or dimensionality of massive data sets, while still maintaining the statistical power of big data. In this paper, we study sketching from an optimization point of view: we first show that the iterative Hessian sketch is an optimization process with preconditioning, and develop accelerated iterative Hessian sketch via the searching the conjugate direction; we then establish primal-dual connections between the Hessian sketch and dual random projection, and apply the preconditioned conjugate gradient approach on the dual problem, which leads to the accelerated iterative dual random projection methods. Finally to tackle the challenges from both large sample size and high-dimensionality, we propose the primal-dual sketch, which iteratively sketches the primal and dual formulations. We show that using a logarithmic number of calls to solvers of small scale problem, primal-dual sketch is able to recover the optimum of the original problem up to arbitrary precision. The proposed algorithms are validated via extensive experiments on synthetic and real data sets which complements our theoretical results.

연구 동기 및 목표

• 표본 수와 특징 차원 수가 모두 막대한 고차원, 대규모 머신러닝 문제를 해결할 때 발생하는 계산 병목 현상을 해결한다.
• 더 높은 정밀도를 확보하기 위해 기존 스케칭 방법이 기하급수적으로 증가하는 스케칭 차원이 필요로 하는 한계를 극복한다.
• 최적화 이론을 통해 원시(헤시안 스케칭)와 이중(무작위 투영) 스케칭 기법을 연결하는 통합 프레임워크를 개발한다.
• 반복적 부분문제에서 표본 수와 차원 수를 동시에 감소시키는 새로운 원시-이중 스케칭 방법을 제안한다.
• 조건부 공액 경사법을 이중 문제에 적용하여 가속화된 수렴 속도를 확보하고, 증명 가능한 수렴성을 확립한다.

제안 방법

• 공액 방향 탐색을 사용하여 반복적 헤시안 스케칭을 조건부 최적화 과정으로 재구성함으로써 수렴 속도를 가속화한다.
• 원시-이중 등가성 확립: 이중 무작위 투영이 이중 공간에서 헤시안 스케칭과 동일하다는 것을 보여준다.
• 이중 문제에 조건부 공액 경사법을 적용하여 가속화된 반복적 이중 무작위 투영(IDRP)을 도출하고 수렴 속도를 향상시킨다.
• 원시 및 이중 공식화를 번갈아 스케칭하는 원시-이중 스케칭 알고리즘을 제안하여 각 반복에서 표본 수와 차원 수를 동시에 감소시킨다.
• 소규모 해법기의 로그 수준 호출을 통해 원래 문제의 최적 해를 임의의 정밀도로 복원한다.
• 행렬 농도 및 유사도 한계를 활용하여 무작위 투영 하에서 조건 수와 수렴 행동을 분석한다.

실험 결과

연구 질문

• RQ1 공액 경사법과 조건부 처리를 활용해 반복적 스케칭 방법의 반복 횟수를 줄일 수 있는가? 이는 고정밀도 해를 얻기 위한 반복 횟수 감소에 기여하는가?
• RQ2 최적화 등가성 측면에서 헤시안 스케칭(원시)과 이중 무작위 투영(이중) 간의 정확한 관계는 무엇인가?
• RQ3 표본 수와 차원 수를 동시에 감소시키는 통합 스케칭 전략이 고차원 환경에서 단일 관점 스케칭보다 우월한 성능을 보일 수 있는가?
• RQ4 이러한 반복적 원시-이중 스케칭 프레임워크에서 수렴 속도와 해 정밀도에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ5 스케칭된 헤시안의 조건 수는 수렴에 어떤 영향을 미치며, 무작위 투영 하에서 이를 유한하게 제한할 수 있는가?

주요 결과

• 가속화된 반복적 헤시안 스케칭은 동일한 반복 계산 비용을 유지하면서도 주어진 정밀도에 도달하기 위한 스케칭 반복 횟수를 줄인다.
• 헤시안 스케칭과 이중 무작위 투영 간의 증명 가능한 등가성 확립: 후자는 이중 공간에서 헤시안 스케칭을 수행하는 것과 동일하다.
• 제안된 원시-이중 스케칭 알고리즘은 소규모 해법기의 로그 수준 호출만으로 원래 문제의 최적 해를 임의의 정밀도로 복원한다.
• 이론적 분석 결과, 스케칭된 헤시안의 조건 수는 높은 확률로 유한하게 제한되며, 이는 무작위 투영 하에서 빠른 수렴을 가능하게 한다.
• 원시-이중 스케칭의 오차 한계는 반복 횟수에 따라 기하급수적으로 감소하며, 수렴 속도는 스케칭 차원과 문제의 조건 수에 따라 달라진다.
• 합성 및 실세계 데이터셋에서의 실험 결과는 이론적 발견을 검증하며, 기준 스케칭 방법보다 더 빠른 수렴 속도와 높은 정밀도를 보여준다.