[논문 리뷰] Large Scale Distributed Distance Metric Learning

Pengtao Xie, Eric P. Xing|arXiv (Cornell University)|2014. 12. 18.

Face and Expression Recognition참고 문헌 15인용 수 3

한 줄 요약

이 논문은 파라미터 서버 아키텍처에서 이종적 확률적 경사하강법을 사용한 분산 거리 메트릭 학습 프레임워크를 제안하며, 고비용의 고유값 분해를 피하기 위해 마할라노비스 거리 학습 문제를 $L^T L$ 분해를 통해 재구성한다. 이는 최신 기술 수준의 효율성과 효과성을 달성하여, 256개의 코어에서 100만 개의 데이터 포인트와 2억 개의 쌍을 15시간 내에 학습하고, MNIST에서 평균 정밀도 0.90을 달성하며 이전 방법들을 능가한다.

ABSTRACT

In large scale machine learning and data mining problems with high feature dimensionality, the Euclidean distance between data points can be uninformative, and Distance Metric Learning (DML) is often desired to learn a proper similarity measure (using side information such as example data pairs being similar or dissimilar). However, high dimensionality and large volume of pairwise constraints in modern big data can lead to prohibitive computational cost for both the original DML formulation in Xing et al. (2002) and later extensions. In this paper, we present a distributed algorithm for DML, and a large-scale implementation on a parameter server architecture. Our approach builds on a parallelizable reformulation of Xing et al. (2002), and an asynchronous stochastic gradient descent optimization procedure. To our knowledge, this is the first distributed solution to DML, and we show that, on a system with 256 CPU cores, our program is able to complete a DML task on a dataset with 1 million data points, 22-thousand features, and 200 million labeled data pairs, in 15 hours; and the learned metric shows great effectiveness in properly measuring distances.

연구 동기 및 목표

• 수백만 개의 기능과 수십억 개의 쌍별 제약 조건을 가진 고차원, 대규모 데이터에서 전통적 거리 메트릭 학습(DML)의 계산 비용이 지나치게 높아지는 문제를 해결한다.
• 분산 환경에서 정수형 프로그래밍의 형태로 표현되는 DML의 고비용 고유값 분해와 엄격한 제약 조건을 극복한다.
• 배치 동기화를 피하고 기계 간 효율적인 파라미터 동기화를 가능하게 하는 확장 가능한 분산 최적화 프레임워크를 설계한다.
• 특히 100만 개의 샘플, 22,000개의 기능, 2억 개의 레이블이 붙은 쌍을 가진 데이터셋을 파라미터 서버 아키텍처를 사용해 예전에는 상상할 수 없었던 규모에서 효과적이고 효율적으로 DML을 수행할 수 있도록 한다.

제안 방법

• 각 업데이트에서 $O(d^3)$의 고유값 분해를 피하기 위해 마할라노비스 거리 행렬 $M$을 $L^T L$로 재구성하여 음이 아닌 정반비례성을 유지한다.
• 유사/비유사 쌍에서 유도된 엄격한 제약 조건을 허프만 손실 함수로 완화하여 부드럽고 미분 가능한 최적화를 가능하게 하고, 분산 환경에서의 제약 위반을 방지한다.
• 작업자들이 $L$의 로컬 복제본을 독립적으로 업데이트하고, 중심 파라미터 서버에 비동기적으로 기울기를 전송하는 파라미터 서버 아키텍처에서 이종적 확률적 경사하강법(ASGD)을 사용한다.
• 작업자 기반으로 쌍별 제약 조건을 분할하고, 소형 배치 업데이트를 통해 확률적 기울기를 사용함으로써 통신 오버헤드를 줄이고 고처리량 학습을 가능하게 한다.
• 파라미터 서버 모델을 활용해 계산과 동기화를 분리하여, 작업자 계산을 차단하지 않고 배경에서 파라미터 동기화를 수행할 수 있도록 한다.
• 전체 $d \times d$ 행렬 $M$ 대신 낮은 랭크 인자 $L$을 최적화하여, 메모리 및 계산 비용을 $O(d^2)$에서 $O(dk)$로 감소시킨다. 여기서 $k \ll d$이다.

실험 결과

연구 질문

• RQ1 100만 개의 샘플, 22,000개의 기능, 2억 개의 레이블이 붙은 쌍을 효과적으로 처리할 수 있는 분산형 확장 가능한 DML 프레임워크를 설계할 수 있는가?
• RQ2 기존 DML에서 고비용인 고유값 분해 단계를 분산 환경에서 성능을 저하시키지 않고 제거할 수 있는가?
• RQ3 파라미터 서버 협업을 통한 이종적 확률적 경사하강법이 대규모 DML에서 학습 속도와 확장성에 얼마나 기여하는가?
• RQ4 마할라노비스 거리 메트릭 학습을 $L^T L$ 분해를 통해 제약 조건이 없는 최적화 문제로 재구성할 경우, 원래의 SDP 설정에 비해 메트릭의 효과성이 유지되거나 향상되는가?
• RQ5 쌍별 제약 조건에 대해 허프만 손실을 사용한 완화가 안정적이고 확장 가능하며 효과적인 분산 학습을 가능하게 하는가?

주요 결과

• 제안된 프레임워크는 256개의 CPU 코어를 사용하여 100만 개의 포인트, 22,000개의 기능, 2억 개의 쌍을 가진 데이터셋을 15시간 내에 학습을 완료하여 DML 분야에서 예상할 수 없을 정도의 확장성을 입증했다.
• MNIST 데이터셋에서 평균 정밀도 0.90을 달성하여, Xing 등(2002), ITML, KISS가 달성한 0.73 평균 정밀도보다 뚜렷이 뛰어나다.
• 각 업데이트 복잡도가 $O(dk)$로 효율적이기 때문에, 단일 스레드에서 학습 시간이 약 30분으로 줄었으며, Xing 등(2002)의 24시간 및 ITML의 3시간 대비 크게 향상되었다.
• ImageNet-1M의 정밀도-재현율 곡선은 학습된 마할라노비스 거리가 원래 유클리드 거리보다 상당히 향상되었음을 확인하여 메트릭의 효과성을 입증했다.
• 비동기 파라미터 서버 설계는 최소한의 동기화 병목 현상으로 고처리량을 달성하여 대규모 실세계 데이터 마이닝 응용에 적합하다.
• $L^T L$와 허프만 손실을 통한 재구성으로 고유값 분해와 엄격한 제약 조건이 필요 없어졌으며, 성능을 저하시키지 않고도 확장 가능한 분산 최적화를 가능하게 하였다.