[논문 리뷰] Least Squares Revisited: Scalable Approaches for Multi-class Prediction

Alekh Agarwal, Sham M. Kakade외 3명|arXiv (Cornell University)|2013. 10. 07.

Machine Learning and Algorithms참고 문헌 33인용 수 21

한 줄 요약

이 논문은 대규모 다중 분류 문제를 위한 확장 가능하고 파rameter-free인 2차 최소제곱 알고리즘을 제안하며, 데이터의 조건수에 관계없이 빠른 수렴을 달성하기 위해 조건수를 고려한 헤시안 행렬 근사치를 활용한다. 이 방법은 MNIST와 CIFAR-10에서 Liblinear 및 Vowpal Wabbit와 같은 1차 방법보다 속도 면에서 수개의 주기수를 뛰어넘으며, 간단한 MATLAB 코드로 최신 기준의 정확도를 달성한다. 또한 GLM 내에서 가중치와 링크 함수를 동시에 학습할 수 있도록 한다.

ABSTRACT

This work provides simple algorithms for multi-class (and multi-label) prediction in settings where both the number of examples n and the data dimension d are relatively large. These robust and parameter free algorithms are essentially iterative least-squares updates and very versatile both in theory and in practice. On the theoretical front, we present several variants with convergence guarantees. Owing to their effective use of second-order structure, these algorithms are substantially better than first-order methods in many practical scenarios. On the empirical side, we present a scalable stagewise variant of our approach, which achieves dramatic computational speedups over popular optimization packages such as Liblinear and Vowpal Wabbit on standard datasets (MNIST and CIFAR-10), while attaining state-of-the-art accuracies.

연구 동기 및 목표

• 예제 수 $n$과 특징 수 $d$가 모두 큰 대규모 다중 분류 문제를 위한 강건하고 확장 가능한 알고리즘을 개발하는 것.
• 특히 MNIST 및 CIFAR-10와 같은 고차원 시각 작업에서 조건수가 나쁜 데이터에서 1차 방법의 느린 수렴 문제를 해결하는 것.
• 라인 서치를 피하고 $d \times d$ 행렬 연산만을 사용하는, 파rameter-free이고 메트릭 기반의 2차 방법을 설계하는 것. 기존 헤시안 기반 방법과 달리 $\mathcal{O}(dk \times dk)$ 행렬 연산을 피한다.
• GLM 프레임워크 내에서 모델 가중치와 링크 함수를 동시에 추정할 수 있도록 확장하여, 예측 기반 특징 학습을 통한 반복적 개선을 가능하게 하는 것.
• 작은 특징 부분집합을 단계적으로 피팅하는 스테이지별 블록좌표 방법을 개발하여 고차원 문제에 대한 확장성을 확보하는 것.

제안 방법

• 실제 두 번째 모멘트 $\widehat{\Sigma} = \frac{1}{n}\sum_i x_i x_i^T$ 를 기반으로 한 헤시안의 주요화를 조건수로 사용하여, $\mathcal{O}(dk \times dk)$ 행렬 연산을 피하는 전처리자로 활용한다.
• 계산적으로 효율적이며 데이터의 조건수에 관계없이 수렴하는 단순한 파rameter-free 2차 업데이트 규칙을 적용한다.
• 작은 특징 부분집합에 대해 최소제곱 모델을 단계적으로 피팅하는 스테이지별 블록좌표 강하 절차를 도입하여 반복 계산 비용을 감소시킨다.
• 등온 회귀 기반 기법을 활용하여 GLM 내에서 파라미터 가정 하에 가중치와 링크 함수를 동시에 추정하는 프레임워크를 확장한다.
• 단일 단체 제약 조건 대신 초입방체 값의 레이블을 처리할 수 있도록 투영 단계를 수정하여 다중 레이블 설정에 적용한다.
• 스테이지별 변형에서 정보가 많은 특징을 우선순위로 정렬하기 위해 탐욕적 특징 선택 전략을 도입하여 수렴 속도를 향상시킨다.

실험 결과

연구 질문

• RQ1 대규모 다중 분류 예측을 위한 2차 최소제곱 방법을 확장 가능하고 파rameter-free로 만들 수 있는가?
• RQ2 MNIST 및 CIFAR-10와 같은 조건수가 나쁜 시각 데이터셋에서 Vowpal Wabbit 및 Liblinear와 같은 1차 방법과 비교해 2차 방법의 성능은 어떠한가?
• RQ3 비용이 과도하게 증가하지 않도록 고차원 문제에 대해 2차 방법을 스테이지별 블록좌표 접근법으로 효과적으로 확장할 수 있는가?
• RQ4 비볼록성 조건 하에서도 이론적 수렴 보장이 있는 GLM 프레임워크 내에서 링크 함수와 모델 가중치를 동시에 학습하는 것이 가능한가?
• RQ5 첫 번째 방법이 일반적으로 우세한 잘 조절된 희박한 텍스트 데이터셋인 NEWS20 및 RCV1에서 이 방법의 성능은 어떠한가?

주요 결과

• MNIST에서 스테이지별 변형은 단순한 MATLAB 구현으로 최신 기준의 정확도를 달성했으며, 최적화된 C 기반 Liblinear 및 Vowpal Wabbit보다 최소 10배 이상 빠른 속도로 실행되었다.
• CIFAR-10에서 표준 합성곱 특징을 사용한 선형 회귀로 85% 이상의 정확도를 달성했으며, 데이터 증강 없이도 많은 딥 러닝 베이스라인을 능가했다.
• 단지 400개의 필터와 다항식 특징만으로도 CIFAR-10에서 매우 빠르게 80% 이상의 정확도를 달성하여 빠른 수렴과 확장성을 입증했다.
• NEWS20 및 RCV1와 같은 잘 조절된 텍스트 데이터셋에서는 1차 방법(VW, Liblinear)이 여전히 경쟁력이 있었지만, 일부 경우에서 스테이지별 방법은 훨씬 줄어든 학습 시간으로 유사한 테스트 오차를 달성했다.
• 이 방법은 다양한 데이터 유형에서 강건성과 확장성을 입증했으며, 조건수가 나쁜 시각 데이터에서 놀라운 속도 향상을 보였고, 잘 조절된 텍스트 데이터에서 뛰어난 성능을 보였다.
• 등온 회귀 기반 업데이트를 통한 가중치와 링크 함수의 동시 학습은 다중 분류 GLM 내에서 반복적 모델 개선을 위한 새로운 이론적 기반 접근법을 제공했다.