[논문 리뷰] Structured adaptive and random spinners for fast machine learning computations

Mariusz Bojarski, Anna Choromanska외 7명|arXiv (Cornell University)|2016. 10. 19.

Stochastic Gradient Optimization Techniques인용 수 21

한 줄 요약

이 논문은 세 개의 구조화된 블록(각각의 회전을 포함)의 곱으로 구성된 효율적이고 파rameterized된 행렬인 Structured Spinners를 소개한다. 이는 기계학습 계산을 가속화하기 위한 것이다. 조밀한 투영 행렬을 이러한 구조화된 대체 행렬로 대체함으로써, 빠른 푸리에 변환 기법을 통해 부분 제곱 이하의 공간 복잡도와 O(n log m)의 계산 시간을 달성하게 되어, 커널 근사, 차원 축소, LSH, 딥러닝, 볼록 최적화 등 다양한 응용 분야에서 이론적 보장과 경험적 검증을 통해 뚜렷한 속도 향상을 이룬다.

ABSTRACT

We consider an efficient computational framework for speeding up several machine learning algorithms with almost no loss of accuracy. The proposed framework relies on projections via structured matrices that we call Structured Spinners, which are formed as products of three structured matrix-blocks that incorporate rotations. The approach is highly generic, i.e. i) structured matrices under consideration can either be fully-randomized or learned, ii) our structured family contains as special cases all previously considered structured schemes, iii) the setting extends to the non-linear case where the projections are followed by non-linear functions, and iv) the method finds numerous applications including kernel approximations via random feature maps, dimensionality reduction algorithms, new fast cross-polytope LSH techniques, deep learning, convex optimization algorithms via Newton sketches, quantization with random projection trees, and more. The proposed framework comes with theoretical guarantees characterizing the capacity of the structured model in reference to its unstructured counterpart and is based on a general theoretical principle that we describe in the paper. As a consequence of our theoretical analysis, we provide the first theoretical guarantees for one of the most efficient existing LSH algorithms based on the HD3HD2HD1 structured matrix [Andoni et al., 2015]. The exhaustive experimental evaluation confirms the accuracy and efficiency of structured spinners for a variety of different applications.

연구 동기 및 목표

• 기계학습 알고리즘에서 조밀한 투영 행렬의 높은 계산 및 메모리 비용을 해결하기 위해.
• 정확도를 유지하면서 시간과 공간 복잡도를 극적으로 줄이는 일반적인 구조화된 프레임워크를 개발하기 위해.
• 구조화된 행렬의 효과성에 대한 이론적 근거를 제공하기 위해, 이전까지 설명되지 않았던 방법들(예: HD3HD2HD1)이 포함된 교차 폴리토프 LSH의 이론적 근거를 마련하기 위해.
• 기존의 다양한 구조화된 행렬 접근법을 하나의 이론적 원칙 아래 통합하고 일반화하기 위해.
• 랜덤 특징 매핑, 뉴턴 스케치, 양자화 등 다양한 기계학습 응용 분야에서 프레임워크를 검증하기 위해.

제안 방법

• 세 개의 행렬 블록의 곱으로 이루어진 Structured Spinners를 제안하며, 각 블록은 회전을 포함한다. 이를 통해 고도로 파arameterized된 구조화된 행렬을 구성한다.
• 헤르무드 행렬(H)과 무작위 또는 적응형 대각 행렬(D)을 조합하여 HD3HD2HD1와 같은 행렬을 구성하며, 이는 FFT를 통해 빠른 계산을 가능하게 한다.
• 프레임워크를 다양한 기계학습 작업에 적용한다: 랜덤 특징 매핑을 통한 커널 근사, 차원 축소, 교차 폴리토프 LSH, 딥러닝, 뉴턴 스케치.
• 일반 원칙에 기반한 이론적 분석을 통해, 구조화된 모델의 능력이 비구조화된 것과 대비하여 어떻게 기술되는지를 규명한다.
• 구조화된 신경망의 성공을 설명하는 새로운 이론적 프레임워크를 도입하며, HD3HD2HD1 기반 LSH에 대해 처음으로 보장을 제공한다.
• 최적화 및 커널 근사에서 정확한 기준 및 비구조화된 기준과의 비교를 위해 벽시계 시간과 수렴 지표를 사용한다.

실험 결과

연구 질문

• RQ1 기계학습에서 계산 및 메모리 비용을 극적으로 줄이면서도 높은 정확도를 유지할 수 있는 구조화된 행렬을 설계할 수 있는가?
• RQ2 왜 HD3HD2HD1와 같은 구조화된 행렬이 교차 폴리토프 LSH에서 최고 성능을 내는가? 그 이론적 근거는 무엇인가?
• RQ3 다양한 구조화된 행렬 가족(학습된 버전과 무작위 버전 포함)의 효과성을 설명할 수 있는 통합된 이론적 프레임워크를 만들 수 있는가?
• RQ4 최적화 및 커널 근사 작업에서 정확도와 수렴 속도 측면에서 구조화된 스피너는 정확한 또는 비구조화된 투영과 어떻게 비교되는가?
• RQ5 구조화된 모델의 능력과 그 비구조화된 대응체 간의 이론적 관계는 무엇인가?

주요 결과

• 구조화된 스피너는 투영에 대해 O(n log m)의 계산 시간을 달성하며, 특히 FFT를 적용할 경우 조밀한 행렬의 O(mn) 시간보다 뚜렷이 빠르다.
• 이 방법은 공간 복잡도를 부분 제곱 이하로 줄여주며, 일반적으로 선형 또는 상수 수준이 되어 메모리 제약이 있는 시스템에의 구현을 가능하게 한다.
• 뉴턴 스케치 최적화에서, 구조화된 스피너는 복잡도를 O(nd²)에서 O(dn log n + md²)로 줄였으며, 저차원에서 벽시계 시간 측정 결과 상당한 성능 향상을 보였다.
• 가장 빠른 알려진 교차 폴리토프 LSH에서 사용되는 HD3HD2HD1 행렬은 본 연구에서 처음으로 이론적 근거를 확보하였다.
• 경험적 결과는 구조화된 스피너가 로지스틱 회귀 및 커널 근사에서 정확한 방법과 유사한 수렴 속도를 달성하며, 뚜렷한 속도 향상을 보였다.
• 이 프레임워크는 이전의 구조화된 행렬 접근법(예: P-모델 포함)을 통합하고 일반화하며, 구조화된 신경망 아키텍처에 대해 처음으로 이론적 보장을 제공한다.