[논문 리뷰] Bayesian Models of Data Streams with Hierarchical Power Priors

Andrés R. Masegosa, Thomas D. Nielsen외 4명|arXiv (Cornell University)|2017. 07. 07.

Data Stream Mining Techniques참고 문헌 16인용 수 11

한 줄 요약

이 논문은 스트리밍 데이터를 위한 베이지안 프레임워크를 제안하며, 계층적 파wr 사전분포를 사용해 개념 드리프트를 모델링하고, 완전히 베이지안 접근 방식을 통해 적응형 학습률을 가능하게 한다. 비선형 공액 사전분포를 다룰 수 있는 새로운 변분 추론 방법을 도입하여 계산 효율성을 유지하면서도, 기존 방법들보다 실제 스트리밍 데이터에서 급격하고 점진적인 드리프트 모두에 뛰어난 성능을 발휘한다.

ABSTRACT

Making inferences from data streams is a pervasive problem in many modern data analysis applications. But it requires to address the problem of continuous model updating and adapt to changes or drifts in the underlying data generating distribution. In this paper, we approach these problems from a Bayesian perspective covering general conjugate exponential models. Our proposal makes use of non-conjugate hierarchical priors to explicitly model temporal changes of the model parameters. We also derive a novel variational inference scheme which overcomes the use of non-conjugate priors while maintaining the computational efficiency of variational methods over conjugate models. The approach is validated on three real data sets over three latent variable models.

연구 동기 및 목표

• 기본 분포가 시간이 지남에 따라 변화할 수 있는 스트리밍 데이터에서 지속적인 모델 업데이트 문제를 해결한다.
• 이전 연구들이 주로 천천간 변화에 집중한 것과 달리, 급격하고 점진적인 개념 드리프트를 모두 포괄하는 방법을 개발한다.
• 스트리밍 환경에서 비공액 사전분포에 대한 베이지안 추론의 계산 불가능성을 해결한다.
• 기본 인자(예: 망각 요소)의 수동 조정을 피할 수 있는 완전한 베이지안 공식화를 제공한다.
• 변분 근사법을 활용해 대규모 스트리밍 데이터에 대한 확장 가능하고 효율적인 추론을 가능하게 한다.

제안 방법

• 학습률(ρ)에 대한 사전분포를 두어 동적으로 데이터 스트림 변화에 적응할 수 있도록 하는 계층적 파워 사전분포(HPPs)를 도입한다.
• 시간에 따라 변화하는 전역 매개변수 βt를 포함하는 공액 지수족 모델을 확장하여, 시간적 동역학을 통해 드리프트를 명시적으로 모델링한다.
• 비공액 사전분포 하에서 효율적인 추론을 가능하게 하기 위해 우도의 하한값에 대한 새로운 변분 하한값을 개발한다.
• 의미-장파라미터 인수분해를 사용해 하한값을 최적화하는 좌표 상승 변분 추론 알고리즘을 구현한다.
• 각 매개변수에 대해 ρ(i)t의 사후 기대값을 사용해 드리프트 정도를 정량화하여 급격하고 점진적인 변화 탐지가 가능하다.
• 이를 공개 소스 AMIDST 툴박스의 일부로 배포하여 확장 가능한 확률적 기계학습을 지원한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 스트리밍 데이터에서 급격하고 점진적인 개념 드리프트를 탐지하고 적응할 수 있는 베이지안 모델을 설계할 수 있는가?
• RQ2 계층적 사전분포를 통한 학습률의 완전한 베이지안 공식화가 히وري스틱 또는 고정된 망각 요소보다 스트리밍 추론에서 뛰어난 성능을 낼 수 있는가?
• RQ3 비공액 사전분포에 대해 스트리밍 환경에서 변분 추론을 얼마나 효율적이고 정확하게 만들 수 있는가?
• RQ4 추론된 드리프트 확률(E[ρ(i)t])이 다양한 데이터 세트에서 실제 세계의 데이터 역학을 얼마나 잘 반영하는가?
• RQ5 기존 방법에 비해 제안된 방법이 수동 하이퍼파rameter 조정 의존도를 줄일 수 있는가?

주요 결과

• GPS 데이터 세트에서 SVB-MHPP는 TMLL가 -1.74로, ρ = 0.99를 사용한 SVB-HPP 및 SVB-PP보다 가장 높은 테스트 우도 로그값을 기록했다.
• 전기 데이터 세트에서 SVB-MHPP는 TMLL가 -19.40을 기록했으며, ρ = 0.9를 사용한 SVB-PP(TMLL: -19.84)와 PVB(ν = 0.1)보다 유의미하게 뛰어난 성능을 보였다.
• 금융 데이터 세트에서 SVB-MHPP는 TMLL가 -19.40을 기록했으며, ρ = 0.9를 사용한 SVB-PP(-19.05)에 이어 두 번째로 높은 성능을 보였다.
• 이 방법은 복잡한 드리프트 패턴을 효과적으로 포착했다: GPS 데이터에서는 시간이 지남에 따라 ρ > 0.9인 안정된 매개변수와 ρ ≤ 0.05인 극도로 변화하는 매개변수 모두를 보였다.
• 기본 방법인 SVB-PP와 PVB의 성능은 하이퍼파rameter(예: ρ 또는 ν)에 매우 민감했으며, 최적화되지 않은 설정일 경우 성능이 크게 떨어졌다.
• 계층적 사전분포를 통한 학습률의 완전한 베이지안 공식화로 수동 조정이 필요 없어졌으며, 다양한 데이터 특성에 대해 강건한 성능을 보였다.