[논문 리뷰] Large Scale Kernel Learning using Block Coordinate Descent

Stephen Tu, Rebecca Roelofs외 2명|arXiv (Cornell University)|2016. 02. 17.

Stochastic Gradient Optimization Techniques참고 문헌 41인용 수 22

한 줄 요약

이 논문은 최대 200만 개의 데이터 포인트를 가진 데이터셋에서 확장 가능한 커널 학습을 가능하게 하는 분산 블록 좌표 강하 알고리즘을 제안한다. 전체 커널 행렬을 저장하지 않고 효율적인 블록 갱신을 활용함으로써, 통계적 정확도에서 랜덤 특징과 니스트롬 근사보다 뛰어난 성능을 보이며, 수렴 속도는 느리지만 경쟁력 있는 분류 정확도를 달성한다.

ABSTRACT

We demonstrate that distributed block coordinate descent can quickly solve kernel regression and classification problems with millions of data points. Armed with this capability, we conduct a thorough comparison between the full kernel, the Nyström method, and random features on three large classification tasks from various domains. Our results suggest that the Nyström method generally achieves better statistical accuracy than random features, but can require significantly more iterations of optimization. Lastly, we derive new rates for block coordinate descent which support our experimental findings when specialized to kernel methods.

연구 동기 및 목표

• 대규모 데이터셋에서 커널 방법의 확장성 한계를 해결하기 위해 분산 계산을 가능하게 한다.
• 효율적인 최적화를 통해 전체 커널 방법이 수백만 개의 데이터 포인트에 실제로 적용될 수 있음을 보여준다.
• 다양한 도메인에서 전체 커널, 니스트롬, 랜덤 특징 근사 간의 대규모 실험적 비교를 수행한다.
• 블록 좌표 강하의 새로운 수렴 속도를 유도하여 커널 학습 환경에서의 경험적 결과를 설명한다.

제안 방법

• 전체 커널 행렬을 생성하지 않고도 커널 최소 제곱 문제를 해결하기 위해 분산 블록 좌표 강하를 사용한다.
• 128台의 머신과 1024개의 코어를 활용해 각 반복을 병렬 처리함으로써, 전체 업데이트 집계 방식보다 통신 오버헤드를 줄인다.
• 레프레젠터 정리를 적용하여 커널 함수의 선형 조합 내 계수에 대한 이중 문제로 커널 학습을 줄인다.
• RBF 및 기타 커널에 대해 분산 행렬 곱셈과 브로드캐스트 연산을 활용한 효율적인 커널 블록 생성을 구현한다.
• 각 블록 갱신에서 이중 변수 $\alpha$ 를 구하기 위해 정규 방정식 $ K(K + n\lambda I)\alpha = KY $ 를 사용한다.
• 단일 반복마다 일부 이중 변수만 갱신하는 블록 단위 갱신 전략을 채택하여 각 반복의 비용을 낮춘다.

실험 결과

연구 질문

• RQ1 분산 최적화를 통해 전체 커널 방법을 수백만 개의 데이터 포인트에까지 확장할 수 있는가?
• RQ2 대규모 환경에서 니스트롬과 랜덤 특징 근사의 통계적 성능과 수렴 속도는 전체 커널 방법에 비해 어떻게 다른가?
• RQ3 대규모 커널 학습에서 커널 근사 방법의 선택이 반복 복잡도와 런타임에 어떤 영향을 미치는가?
• RQ4 블록 좌표 강하의 이론적 수렴 속도를 도출하고 커널 학습 환경에 특화시켜 경험적 행동을 설명할 수 있는가?
• RQ5 데이터 크기와 머신 수가 증가함에 따라 블록 좌표 강하의 성능은 어떻게 스케일링되는가?

주요 결과

• 200만 개의 데이터 포인트를 가진 전체 커널 회귀 문제는 분산 블록 좌표 강하를 통해 수 시간 내에 해결되며, 경쟁력 있는 분류 오차를 달성한다.
• 일般적으로 니스트롬 방법은 랜덤 특징보다 더 낮은 테스트 오차를 기록하지만, 수렴하기 위해 훨씬 더 많은 반복 수가 필요하다.
• TIMIT 데이터셋에서는 랜덤 특징과 니스트롬의 근사 품질의 차이에도 불구하고, 유사한 커널 생성 비용으로 인해 런타임 성능이 유사하다.
• 블록 수가 적을 경우 전체 커널 방법은 비용이 많이 드는 그램 행렬 계산을 피하기 때문에 니스트롬과 유사한 성능을 보인다.
• 약한 스케일링 실험 결과, RBF 커널 블록 생성은 데이터와 머신 수에 따라 잘 스케일링되며, 브로드캐스트 오버헤드로 인한 성능 저하가 미미하다.
• 이론적 분석 결과, 블록 좌표 강하는 경사 하강법보다 수렴 속도가 나쁘지 않으며, 블록 크기의 역수 비례하는 작은 추가 요소를 포함한다. 이는 다양한 방법 간의 반복 복잡도 차이를 설명하는 데 기여한다.