[논문 리뷰] Efficient and Scalable Multi-task Regression on Massive Number of Tasks

Xiao He, Francesco Alesiani외 1명|arXiv (Cornell University)|2018. 11. 14.

Machine Learning and ELM인용 수 4

한 줄 요약

이 논문은 예측 모델의 k-최근접 이웃 그래프에 볼록 클러스터링을 통합하여 거대한 수의 작업에 걸쳐 효율적이고 확장 가능한 학습을 가능하게 하는 새로운 다중 작업 회귀 방법 CCMTL을 제안한다. 선형 확장성과 전역 수렴성을 달성하며, 23,812개의 작업에서 30초 내로 학습을 완료하여 이전 방법들이 수 시간 또는 수 일에 걸렸던 것과 비교해 극적으로 빠른 성능을 보인다.

ABSTRACT

Many real-world large-scale regression problems can be formulated as Multi-task Learning (MTL) problems with a massive number of tasks, as in retail and transportation domains. However, existing MTL methods still fail to offer both the generalization performance and the scalability for such problems. Scaling up MTL methods to problems with a tremendous number of tasks is a big challenge. Here, we propose a novel algorithm, named Convex Clustering Multi-Task regression Learning (CCMTL), which integrates with convex clustering on the k-nearest neighbor graph of the prediction models. Further, CCMTL efficiently solves the underlying convex problem with a newly proposed optimization method. CCMTL is accurate, efficient to train, and empirically scales linearly in the number of tasks. On both synthetic and real-world datasets, the proposed CCMTL outperforms seven state-of-the-art (SoA) multi-task learning methods in terms of prediction accuracy as well as computational efficiency. On a real-world retail dataset with 23,812 tasks, CCMTL requires only around 30 seconds to train on a single thread, while the SoA methods need up to hours or even days.

연구 동기 및 목표

• 소매 및 운송 분야에서 흔한 수십만 개의 작업을 포함하는 문제에 다중 작업 학습을 확장하는 데 도전한다.
• 모든 작업이 관련이 있다고 가정하거나 초과 선형적으로 확장되는 기존 다중 작업 학습 방법의 한계를 극복한다.
• 계산 효율성과 수렴 보장을 유지하면서도 작업 간 관계를 클러스터링을 통해 포착하는 방법을 개발한다.
• 학습 시간과 정확도가 중요한 실세계의 대규모 응용 프로그램에서 다중 작업 회귀의 실용적 구현을 가능하게 한다.
• 거대한 작업 집합에서 계산적으로 비효율적인 기존 작업 클러스터링 방법의 확장 가능한 대안을 제공한다.

제안 방법

• 예측 오차 최소화와 작업 가중치 벡터에 대한 볼록 클러스터링 페널티를 조합한 정규화된 최적화 문제로 다중 작업 회귀를 공식화한다.
• 작업 유사도를 정의하고 클러스터링을 이끌기 위해 예측 모델 간에 k-최근접 이웃(k-NN) 그래프를 구축한다.
• 작업 가중치 간 차이에 대한 ℓ₂ 노름을 클러스터링 정규화자로 사용하여 볼록성과 안정적인 클러스터링 행동을 보장한다.
• 전역 최적해로 수렴하는 새로운 최적화 알고리즘을 제안하여 신뢰할 수 있고 효율적인 학습을 가능하게 한다.
• k-NN 그래프 구조를 볼록 클러스터링 목표함수에 통합하여 사전에 지정된 클러스터 수가 필요 없이 유사한 작업을 적응적으로 그룹화한다.
• 수렴 보장을 갖춘 이중 상승법을 사용하여 거대한 작업 집합에서 강건성과 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 예측 모델의 k-NN 그래프에 대한 볼록 클러스터링이 대규모 다중 작업 회귀에서 관련된 작업을 효과적으로 그룹화할 수 있는가?
• RQ2 기존 SOTA 방법이 초과 선형적으로 확장되는 것과는 달리, 제안된 CCMTL 방법이 작업 수에 대해 선형 확장성을 달성하는가?
• RQ3 합성 및 실세계 데이터셋에서 CCMTL은 SOTA 다중 작업 학습 방법에 비해 예측 정확도와 학습 효율성 측면에서 어떻게 비교되는가?
• RQ4 실세계 데이터셋에서 수만 개의 작업을 포함하는 경우, 예를 들어 소매 판매 예측과 같이 CCMTL은 높은 성능과 짧은 학습 시간을 유지할 수 있는가?
• RQ5 제안된 최적화 방법은 전역 최적해로 수렴이 보장되는가? 기존 솔버와 비교해 속도는 어떻게 되는가?

주요 결과

• CCMTL은 합성 및 실세계 데이터셋에서 모두 SOTA 예측 정확도를 달성하며, 7개의 SOTA 다중 작업 학습 방법을 능가한다.
• 실세계 소매 데이터셋(23,812개 작업)에서 CCMTL은 단일 스레드에서 약 30초 내로 학습을 완료하며, SOTA 방법은 수 시간 또는 수 일 이상 소요된다.
• CCMTL은 작업 수에 대해 학습 시간에서 선형 확장성을 보이며, 최대 160,000개 작업까지의 실험을 통해 이를 확인했다.
• 비교된 모든 방법 중에서 CCMTL과 RMTL만 선형 런타임 확장성을 보였으며, 나머지 모든 방법은 초과 선형 증가를 보였고, FuseMTL, MTFactor, TriFactor는 24시간 이내에 40,000개 작업 실행을 완료하지 못했다.
• 보충 자료의 회귀 분석을 통해 CCMTL의 런타임은 선형으로 증가하는 반면, 다른 방법들은 제곱형으로 증가함을 확인했다.
• CCMTL에서 클러스터링 정규화자로 ℓ₂ 노름을 사용함으로써, FuseMTL 및 SRMTL와 같이 ℓ₁ 또는 제곱 ℓ₂ 노름을 사용하는 방법보다 더 우수한 성능을 달성한다.