[논문 리뷰] Laplacian Support Vector Machines Trained in the Primal

Stefano Melacci, Mikhail Belkin|ArXiv.org|2009. 09. 29.

Machine Learning and Algorithms참고 문헌 32인용 수 317

한 줄 요약

이 논문은 조기 정지와 함께 조절된 공액 기울기(Preconditioned Conjugate Gradient, PCG)를 사용하여 라플라시안 서포트 벡터 머신(LapSVMs)을 원시형식(primal)으로 훈련함으로써, 훈련 복잡도를 O(n³)에서 O(n²)로 감소시키고 단일 단계 최적화를 가능하게 한다. 이 방법은 최적 해와 유사한 정확도를 훨씬 더 빠른 시간에 달성하며, 이중형식의 한계를 극복하고 대규모 데이터셋에 대한 확장성을 향상시킨다.

ABSTRACT

In the last few years, due to the growing ubiquity of unlabeled data, much effort has been spent by the machine learning community to develop better understanding and improve the quality of classifiers exploiting unlabeled data. Following the manifold regularization approach, Laplacian Support Vector Machines (LapSVMs) have shown the state of the art performance in semi--supervised classification. In this paper we present two strategies to solve the primal LapSVM problem, in order to overcome some issues of the original dual formulation. Whereas training a LapSVM in the dual requires two steps, using the primal form allows us to collapse training to a single step. Moreover, the computational complexity of the training algorithm is reduced from O(n^3) to O(n^2) using preconditioned conjugate gradient, where n is the combined number of labeled and unlabeled examples. We speed up training by using an early stopping strategy based on the prediction on unlabeled data or, if available, on labeled validation examples. This allows the algorithm to quickly compute approximate solutions with roughly the same classification accuracy as the optimal ones, considerably reducing the training time. Due to its simplicity, training LapSVM in the primal can be the starting point for additional enhancements of the original LapSVM formulation, such as those for dealing with large datasets. We present an extensive experimental evaluation on real world data showing the benefits of the proposed approach.

연구 동기 및 목표

• 이중형식으로 표현된 라플라시안 SVM의 높은 계산 비용과 이중 단계 훈련 과정을 해결하기 위해.
• 원시형식 문제를 직접 해결함으로써 라플라시안 SVM의 단일 단계 최적화를 가능하게 하기 위해.
• 조절된 공액 기울기(Preconditioned Conjugate Gradient, PCG)를 사용하여 훈련 시간과 복잡도를 O(n³)에서 O(n²)로 감소시키기 위해.
• 예측 안정성 또는 검증 성능 기반의 효과적인 조기 정지 기준을 개발하여 근사 해를 얻기 위해.
• 준지도 학습 환경에서의 확장성 향상과 동시에 증분 학습 또는 대규모 학습 지원을 향상시키기 위해.

제안 방법

• 이중형식이 아닌 원시형식에서 직접 라플라시안 SVM 최적화 문제를 해결함으로써, 라벨이 부여된 데이터와 부여되지 않은 데이터를 포함한 모든 훈련 데이터 포인트에 대해 통합된 최적화를 가능하게 함.
• 원시형식 문제를 효율적으로 해결하기 위해 조절된 공액 기울기(Preconditioned Conjugate Gradient, PCG)를 적용함. 이 과정에서 커널 행렬을 추가 비용 없이 조건수행렬(preconditioner)로 활용함.
• 비정상적인 데이터나 라벨이 부여된 검증 세트에서의 성능 기반으로 반복을 조기에 종료하는 전략을 사용함.
• 뉴턴 방법과 PCG를 사용한 원시형식 라플라시안 SVM 훈련을 비교하여, PCG가 반복당 비용이 낮고 확장성 면에서 더 우수하므로 더 효율적임을 발견함.
• 원래의 이중형식에서 요구되는 이중형식에서 원시형식으로의 변환 단계를 제거함으로써 단일 단계 훈련 과정을 구현함.
• 라플라시안 SVM의 내재 노름 정규화 요소를 최적화 과정에 통합함으로써 수렴 안정성을 향상시키고, 정확도 손실이 최소화된 상태에서 조기 정지를 가능하게 함.

실험 결과

연구 질문

• RQ1 원시형식에서 라플라시안 SVM을 훈련함으로써 O(n³)의 계산 복잡도를 O(n²)로 감소시킬 수 있는가?
• RQ2 원시형식 문제를 직접 해결함으로써 이중형식에서 원시형식으로의 변환 단계가 필요 없어지는가?
• RQ3 비정상적인 데이터 또는 검증 데이터 기반의 안정성 기반 조기 정지 전략이 최적 해에 근접한 정확도를 달성하면서도 훈련 시간을 크게 단축시킬 수 있는가?
• RQ4 라플라시안 SVM의 내재 노름 정규화 요소가 반복적 해법에서 수렴 행동과 정지 조건 조정에 어떤 영향을 미치는가?
• RQ5 원시형식이 향후 증분 학습이나 더 흐린 커널 전개와 같은 기능 향상에 기여할 수 있는가?

주요 결과

• PCG를 사용해 원시형식으로 라플라시안 SVM을 훈련함으로써 계산 복잡도를 O(n³)에서 O(n²)로 감소시켜 확장성 향상이著명하게 향상됨.
• 조기 정지 기반의 제안된 PCG 방법은 최적 해와 유사한 분류 정확도를 달성하면서도, MNIST3VS8와 같은 대규모 데이터셋에서 훈련 시간을 최대 95%까지 단축함.
• MNIST3VS8 데이터셋에서 안정성 기반 조기 정지 전략을 사용한 PCG는 평균 2.11초(±0.06)의 훈련 시간을 기록했으며, 뉴턴 방법 대비 2824.17초로 훨씬 빠름.
• 검증 기반 정지 전략을 사용한 PCG는 MNIST3VS8에서 평균 110회의 반복만으로 5.58%의 오차율을 달성하면서도 최소한의 계산 비용으로 수행됨.
• 라플라시안 SVM의 내재 노름 정규화 요소는 최적화 과정을 안정화시키며, 정확도 손실이 최소화된 상태에서 조기 정지를 가능하게 함.
• 원시형식은 반복 횟수를 통한 근사 정확도의 직접 제어를 가능하게 하여, 이중 근사와 최종 해 사이의 간접적 관계를 극복함.