[논문 리뷰] An aggregating strategy for shifting experts in discrete sequence prediction

Vishnu Raj, Sheetal Kalyani|arXiv (Cornell University)|2017. 08. 05.

Algorithms and Data Compression참고 문헌 21인용 수 4

한 줄 요약

이 논문은 비정상적인 환경에서 이산 시퀀스 예측을 위한 적응형 집계 전략을 제안하며, 지수 가중치와 지수 할인을 사용하여 다수의 전문가 예측을 통합한다. 이 방법은 이론적으로 O(√(T log K))의 최대 손실 상한선을 확보하고 다양한 실세계 데이터셋에서 강력한 경험적 성능을 보이며, Active-LeZi 및 ewPPM과 같은 최첨단 기법들을 능가하거나 견줄 만큼의 성능을 보이며 공식적인 이론적 보장을 제공한다.

ABSTRACT

We study how we can adapt a predictor to a non-stationary environment with advises from multiple experts. We study the problem under complete feedback when the best expert changes over time from a decision theoretic point of view. Proposed algorithm is based on popular exponential weighing method with exponential discounting. We provide theoretical results bounding regret under the exponential discounting setting. Upper bound on regret is derived for finite time horizon problem. Numerical verification of different real life datasets are provided to show the utility of proposed algorithm.

연구 동기 및 목표

• 시간이 지남에 따라 최적의 전문가가 변화하는 비정상적인 환경에서 이산 시퀀스를 예측하는 문제에 대응하기 위해.
• 완전한 피드백 하에서 다수의 전문가 예측을 이론적으로 타당한 방법으로 통합하기 위해.
• 특히 구문 경계에서의 수렴 속도와 예측 정확도를 기존의 PPM 및 LeZi 기반 방법보다 향상시키기 위해.
• 기존 시스템 구성 요소를 수정하지 않고도 기존 PPM의 즉시 교체 가능한 대체 수단을 제공하기 위해.
• 지수 할인 하에 제안된 적응형 집계 전략에 대한 이론적 손실 상한선을 수립하기 위해.

제안 방법

• 이 방법은 과거 성능에 기반해 전문가 가중치를 동적으로 조정하기 위해 지수 가중치와 지수 할인을 사용한다.
• 최근 전문가 성능에 중점을 두는 곱셈형 가중치 업데이트 규칙을 적용하여 변화하는 환경에 적응할 수 있도록 한다.
• PPM와 유사한 트라이 기반 빈도 구조를 유지하여 맥락 기반 예측을 수행하지만, 다수의 맥락 수준에서 전문가 집계를 통합한다.
• 결정 이론적 분석을 통해 손실을 상한선으로 제한하며, 유한한 시간 범위 T와 K명의 전문가에 대해 O(√(T log K))의 상한선을 유도한다.
• 기존 PPM 프레임워크와 호환되며, 표준 맥락 트리 구조를 사용하는 시스템에 원활하게 통합될 수 있다.
• 실세계 데이터셋을 사용하여 평가하며, Active-LeZi, ewPPM, LZ78 등과의 예측 정확도, 실행 시간, 메모리 사용량을 비교한다.

실험 결과

연구 질문

• RQ1 비정상적인 이산 시퀀스 예측 환경에서 최적의 전문가가 변화하는 상황에 대응할 수 있는 예측기 설계 방법은 무엇인가?
• RQ2 변화하는 전문가 설정에서 지수 할인을 사용한 집계 전략에 대해 어떤 이론적 손실 상한선을 확립할 수 있는가?
• RQ3 기존의 PPM 기반 및 전문가 집계 방법과 비교해 제안된 방법의 성능 및 효율성은 어떠한가?
• RQ4 기존 시스템 아키텍처를 변경하지 않고도 제안된 방법이 기존 PPM의 즉시 교체 가능한 대체 수단이 될 수 있는가?
• RQ5 전문가 풀의 구성과 사전 지식이 이론적 손실 상한선의 타이트함에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 RM, CA, BA, MCS를 포함한 모든 테스트 데이터셋에서 최고 성능을 기록한 알고리즘과 비교해도 예측 정확도가 유사하거나 뛰어나다.
• Active-LeZi 성능이 엔트로피 증가로 인해 시간이 지남에 따라 떨어지는 MCS 데이터셋에서는 제안된 방법이 안정적인 성능을 유지한다.
• 이 방법은 O(√(T log K))의 손실 상한선을 보이며, ewPPM이나 Active-LeZi에는 제공되지 않는 공식적인 이론적 보장을 제공한다.
• 실행 시간은 경쟁력이 있으며, RM에서는 약 156초, CA에서는 256초, BA에서는 16.7초, MCS에서는 8.5초가 소요되어 ewPPM 및 Adaptive MPP보다 略적으로 빠르다.
• 공유된 트라이 구조 전략으로 인해 DG 및 LZ78과 같은 경량 방법보다 메모리 사용량은 높지만, ewPPM 및 Adaptive MPP와 유사하다.
• 더 높은 메모리 사용량과 실행 시간에도 불구하고, 전문가 집계를 통해 더 뛰어난 예측 능력을 보이며 LZ78를 초월한다.