[논문 리뷰] MORES: Online Incremental Multiple-Output Regression for Data Streams.

Changsheng Li, Weishan Dong외 2명|arXiv (Cornell University)|2014. 12. 18.

Data Stream Mining Techniques참고 문헌 38인용 수 5

한 줄 요약

이 논문은 데이터 스트림에서 예측 정확도를 향상시키기 위해 회귀 계수와 잔차 오차의 구조를 동적으로 학습하는 온라인 증분 다중출력 회귀 방법인 MORES를 제안한다. 통계적 변수와 기록 인자(forgetting factor)를 사용한 증분 손실 계산을 통해 효율적이고 메모리가 필요 없으며 노이즈에 강건한 모델 업데이트를 가능하게 하였으며, 실제 데이터셋을 대상으로 한 검증을 통해 뛰어난 성능을 입증하였다.

ABSTRACT

Online multiple-output regression is an important machine learning technique for modeling, predicting, and compressing multi-dimensional correlated data streams. In this paper, we propose a novel online multiple-output regression method, called MORES, for streaming data. MORES can \emph{dynamically} learn the structure of the regression coefficients to facilitate the model's continuous refinement. We observe that limited expressive ability of the regression model, especially in the preliminary stage of online update, often leads to the variables in the residual errors being dependent. In light of this point, MORES intends to \emph{dynamically} learn and leverage the structure of the residual errors to improve the prediction accuracy. Moreover, we define three statistical variables to \emph{exactly} represent all the seen samples for \emph{incrementally} calculating prediction loss in each online update round, which can avoid loading all the training data into memory for updating model, and also effectively prevent drastic fluctuation of the model in the presence of noise. Furthermore, we introduce a forgetting factor to set different weights on samples so as to track the data streams' evolving characteristics quickly from the latest samples. Experiments on three real-world datasets validate the effectiveness and efficiency of the proposed method.

연구 동기 및 목표

• 초기 학습 단계에서 특히 잔차 오차가 상호의존성을 보일 때, 온라인 다중출력 회귀 모델의 표현 능력이 제한되는 문제를 해결한다.
• 초기 업데이트에서 자주 관찰되는 의존성을 가지는 잔차 오차의 구조를 동적으로 모델링하여 예측 정확도를 향상시킨다.
• 원시 데이터를 전부 로딩하지 않고 통계적 변수를 통해 모든 관측 샘플을 증분적으로 추적함으로써 메모리 효율적인 온라인 학습을 가능하게 한다.
• 최근 샘플에 더 높은 가중치를 할당하는 기록 인자를 도입하여, 변화하는 데이터 스트림 특성에 신속히 적응할 수 있도록 모델 안정성을 확보한다.

제안 방법

• 이전에 관측된 모든 샘플을 정확히 표현할 수 있는 세 가지 통계적 변수를 도입하여, 원시 데이터를 저장하지 않고도 증분적으로 예측 손실을 계산할 수 있도록 한다.
• 잔차 오차의 구조를 동적으로 학습하고 활용함으로써 온라인 업데이트 중 모델의 표현력과 예측 정확도를 향상시킨다.
• 최근 샘플에 더 높은 가중치를 할당하는 기록 인자를 적용하여 모델이 변화하는 데이터 스트림 특성에 신속히 적응할 수 있도록 한다.
• 증분 손실 계산을 활용한 온라인 모델 업데이트를 제안하여 계산 효율성과 메모리 사용 감소를 보장한다.
• 회귀 계수의 구조 학습과 잔차 오차 패턴의 학습을 통합된 프레임워크로 통합하여 지속적인 모델 정교화를 가능하게 한다.
• 실시간 업데이트에 적합한 최소한의 계산 오버헤드를 갖춘 알고리즘을 설계하여 대규모 스트리밍 데이터에 적합하다.

실험 결과

연구 질문

• RQ1 잔차 오차가 초기 업데이트에서 높은 의존성을 보일 때, 온라인 다중출력 회귀 모델이 초기 학습 단계에서 표현 능력을 어떻게 향상시킬 수 있는가?
• RQ2 온라인 회귀에서 예측 손실을 증분적으로 계산하는 데 있어 효율적이고 메모리가 필요 없는 방법은 무엇인가?
• RQ3 노이즈에 강건하면서도 데이터 스트림의 개념 변화에 신속히 적응할 수 있는 모델은 어떻게 설계할 수 있는가?
• RQ4 잔차 오차의 구조를 동적으로 학습하는 것이 스트리밍 환경에서 예측 정확도 향상에 얼마나 기여하는가?

주요 결과

• MORES는 온라인 학습 중 잔차 오차 구조를 동적으로 모델링함으로써 기준 방법보다 높은 예측 정확도를 달성한다.
• 통계적 변수를 사용한 증분 손실 계산은 모든 훈련 데이터를 저장할 필요가 없게 하여 메모리 사용을 크게 감소시킨다.
• 기록 인자를 통해 최근 샘플에 초점을 맞춰 개념 변화에 신속히 적응할 수 있도록 한다.
• 노이즈에 강건하며, 변동성이 큰 데이터 스트림에서도 안정적인 모델 업데이트를 보여준다.
• 세 가지 실제 데이터셋에 대한 실험을 통해 MORES가 정확도 및 계산 성능 측면에서 효과적이고 효율적임을 확인하였다.