[논문 리뷰] Learning the Experts for Online Sequence Prediction

Elad Eban, Aharon Birnbaum외 2명|arXiv (Cornell University)|2012. 06. 18.

Advanced Bandit Algorithms Research참고 문헌 24인용 수 4

한 줄 요약

이 논문은 과거 시계열 데이터를 기반으로 전문가 예측자 집합을 자동으로 식별하고 학습하여 온라인 시계열 예측 성능을 향상시키는 새로운 온라인 학습 알고리즘을 제안한다. 특히 짧은 시계열에 대해 성능 향상을 이룬다. 과거 시계열의 학습 데이터를 활용해 고성능 전문가를 적응적으로 선택함으로써, 후회 최소화 이론 보장 하에 최고의 전문가에 가까운 성능을 달성하며, ICML 2012에서 웹 클릭 예측 작업을 통해 검증되었다.

ABSTRACT

Online sequence prediction is the problem of predicting the next element of a sequence given previous elements. This problem has been extensively studied in the context of individual sequence prediction, where no prior assumptions are made on the origin of the sequence. Individual sequence prediction algorithms work quite well for long sequences, where the algorithm has enough time to learn the temporal structure of the sequence. However, they might give poor predictions for short sequences. A possible remedy is to rely on the general model of prediction with expert advice, where the learner has access to a set of $r$ experts, each of which makes its own predictions on the sequence. It is well known that it is possible to predict almost as well as the best expert if the sequence length is order of $\log(r)$. But, without firm prior knowledge on the problem, it is not clear how to choose a small set of {\em good} experts. In this paper we describe and analyze a new algorithm that learns a good set of experts using a training set of previously observed sequences. We demonstrate the merits of our approach by applying it on the task of click prediction on the web.

연구 동기 및 목표

• 표준 개별 시계열 예측 알고리즘을 사용할 경우 짧은 시계열에서 예측 성능이 떨어지는 문제를 해결하기 위해.
• 시계열 도메인에 대한 사전 지식 없이 소규모이면서 효과적인 전문가 집합을 선택하는 데 어려움을 극복하기 위해.
• 관측된 시계열의 훈련 데이터로부터 고품질의 전문가 집합을 학습하는 방법을 개발하기 위해.
• 제한된 시계열 길이 조건에서도 최고의 전문가에 가까운 이론적 성능 보장을 확보하기 위해.
• 실제 웹 애플리케이션의 클릭 예측 작업에서 이 방법의 실용적 효과성을 입증하기 위해.

제안 방법

• 알고리즘은 이전에 관측된 시계열의 훈련 데이터를 사용하여, 훈련 데이터의 패턴을 예측하는 데 특화된 r명의 전문가 집합을 학습한다.
• 예측자 조언 기반의 메타학습 프레임워크를 적용하여, 가중 다수결 전략을 사용해 다수의 전문가 예측을 조합한다.
• 학습된 전문가 집합 내에서 최고의 전문가에 대한 후회를 최소화하는 데 초점을 맞춘 새로운 최적화 절차에 의해 전문가 선택이 이뤄진다.
• 전문가 수 r에 대해 로그적 의존성을 포함하여 확장성과 이론적 성능 한계를 보장한다.
• 온라인 볼록 최적화 기법을 사용해 반복적으로 전문가 가중치를 개선하고 예측 정확도를 향상시킨다.
• 알고리즘은 적응형으로 설계되어 관측된 시계열 패턴에 따라 전문가 기여도를 동적으로 조정한다.

실험 결과

연구 질문

• RQ1 훈련 시계열에서 자동으로 전문가 집합을 학습하여 짧은 시계열에서의 온라인 예측 성능을 향상시킬 수 있는가?
• RQ2 알고리즘이 최고의 전문가에 비해 near-optimal 성능을 확보할 수 있는가?
• RQ3 제안된 방법의 이론적 후회 한계는 전문가 수와 시계열 길이에 대해 어떻게 표현되는가?
• RQ4 실제 웹 클릭 예측 작업에서 이 방법은 실제로 어떻게 성능을 발휘하는가?
• RQ5 사전 가정 없이 다양한 시계열 패턴에 대해 일반화 성능이 잘 되는가?

주요 결과

• 제안된 알고리즘은 전문가 수에 대해 로그적 비례로 증가하는 후회 한계를 달성하여 강력한 이론적 성능 보장을 확보한다.
• 기존의 표준 개별 시계열 예측 알고리즘에 비해 짧은 시계열에서 예측 정확도가 크게 향상된다.
• 웹 클릭 예측 데이터에 대한 실증 평가 결과, 학습된 전문가 집합이 고정된 전문가 집합과 기저선 방법보다 뛰어난 성능을 보였다.
• 알고리즘은 훈련 데이터에서 관련 있는 전문가를 효과적으로 식별하고 활용하여 시계열의 기저 구조에 적응한다.
• 이 방법은 강건성과 확장성을 보이며, 많은 수의 잠재 전문가가 존재하는 상황에서도 낮은 후회를 유지한다.
• 결과적으로 데이터로부터 전문가를 학습하는 것이 수작업 또는 정적 전문가 집합에 의존하는 것보다 더 나은 성능을 낸다는 것이 확인되었다.