[논문 리뷰] Tradeoffs for Space, Time, Data and Risk in Unsupervised Learning

Mario Lučić, Mesrob I. Ohannessian외 2명|arXiv (Cornell University)|2016. 05. 02.

Machine Learning and Algorithms참고 문헌 26인용 수 16

한 줄 요약

이 논문은 비지도 학습에서 공간, 시간, 데이터 크기, 통계적 리스크 간의 트레이드오프를 탐색하기 위해 코어셋 기반 프레임워크를 제안한다. 전략적으로 데이터를 요약함으로써 저자들은 k-means 및 가우시안 믹스처 모델 학습을 더 빠르게 수행할 수 있으며, 이는 증명 가능한 리스크 보장을 제공한다. 그 결과, TRAM 알고리즘을 통해 지능적인 요약을 통합할 경우 더 큰 데이터셋이 오히려 실행 시간을 줄임을 입증한다.

ABSTRACT

Faced with massive data, is it possible to trade off (statistical) risk, and (computational) space and time? This challenge lies at the heart of large-scale machine learning. Using k-means clustering as a prototypical unsupervised learning problem, we show how we can strategically summarize the data (control space) in order to trade off risk and time when data is generated by a probabilistic model. Our summarization is based on coreset constructions from computational geometry. We also develop an algorithm, TRAM, to navigate the space/time/data/risk tradeoff in practice. In particular, we show that for a fixed risk (or data size), as the data size increases (resp. risk increases) the running time of TRAM decreases. Our extensive experiments on real data sets demonstrate the existence and practical utility of such tradeoffs, not only for k-means but also for Gaussian Mixture Models.

연구 동기 및 목표

• 비지도 학습에서 계산 자원(시간, 공간)과 통계적 리스크 간의 트레이드오프를 가능하게 하는 데이터 요약의 영향을 조사하기 위해.
• 데이터 크기가 증가할수록 일반적으로 계산 비용이 증가하는 대규형 학습 문제에 도전하기 위해.
• 오라클에 의존하지 않고도 공간/시간/데이터/리스크 트레이드오프를 탐색할 수 있는 실용적인 알고리즘을 개발하기 위해.
• 학습 알고리즘을 약화시키는 대신 데이터 표현을 약화시킴으로써 볼록 문제를 초월한 계산-통계 트레이드오프를 확장하기 위해.
• k-means 및 가우시안 믹스처 모델에서 이러한 트레이드오프의 존재성과 유용성을 경험적으로 검증하기 위해.

제안 방법

• k-me안 군집링에 대해 해를 유지하는 소규모 대표 부분집합으로 대규모 데이터셋을 요약하기 위해 계산 기하학에서 유래한 코어셋 구성 기법을 사용한다.
• 요약된 데이터에서 효율적으로 학습 문제를 해결하기 위해 코어셋에 가중치가 부여된 k-means++ 및 가중치가 부여된 EM 알고리즘을 적용한다.
• 리스크와 실행 시간을 균형 잡기 위해 요약 및 잘라내기 크기를 적응적으로 조정하는 실용적인 알고리즘인 TRAM을 제안한다.
• TRAM에서 이분법 유사 전략을 사용한다: 반복마다 잘라내기 크기를 두 배로 늘리고 요약 크기를 1.5 배로 줄여 트레이드오프 곡선을 탐색한다.
• 리스크 추정과 최적 트레이드오프 포인트 탐색을 위해 검증 세트(전체 데이터의 1/5)를 활용한다.
• 이론적 코어셋 경계를 활용하여 코어셋에서의 해가 원본 데이터 해와 주어진 리스크 내성에 근접하도록 보장한다.

실험 결과

연구 질문

• RQ1 데이터 크기가 증가함에 따라 코어셋을 통한 데이터 요약이 비지도 학습에서 실행 시간과 리스크 간의 트레이드오프를 가능하게 할 수 있는가?
• RQ2 실제로 공간, 시간, 데이터, 리스크의 네 차원 트레이드오프 공간을 체계적으로 탐색할 수 있는 방법은 무엇인가?
• RQ3 일반적인 서브샘플링보다 전략적 데이터 요약이 동일한 실행 시간에서 더 낮은 리스크를 달성하는 데 뛰어난가?
• RQ4 k-means 및 GMM과 같은 비볼록 문제에서 이러한 트레이드오프를 실질적으로 실현할 수 있는가?
• RQ5 완전한 검색 없이도 시간/리스크 트레이드오프에서 오라클에 가까운 성능을 달성할 수 있는가?

주요 결과

• 고정된 리스크 내성에서 데이터 크기를 늘릴수록 코어셋을 사용할 경우 실행 시간이 감소함을 보여, 데이터-시간 트레이드오프를 입증한다.
• TRAM은 모든 데이터셋에서 코어셋 오라클에 가까운 실행 시간을 달성하며, 일반 서브샘플링보다 최소한의 오버헤드만을 갖는다.
• TRAM은 전체적으로 더 높은 계산 비용을 요구하는 완전한 검색을 통한 일반 서브샘플링 조차도 뛰어넘는다.
• 고정된 데이터 크기에서 리스크 내성의 증가가 필요한 실행 시간을 감소시킴으로써 리스크-시간 트레이드오프의 존재를 확인한다.
• 코어셋 기반 접근법은 대규모 데이터셋(예: Yahoo! WebScope)에서 GMM 학습 시간을 주에서 분 단위로 단축시키며 낮은 리스크를 유지함으로써 상당한 성능 향상을 이룬다.
• 합성 데이터, KDD2004BIO, CSN, WEBSCOPE 데이터셋에서의 경험적 결과는 코어셋이 시간/리스크 트레이드오프 공간에서 일반 서브샘플링를 압도함을 확인한다.