[논문 리뷰] Online Contrastive Divergence with Generative Replay: Experience Replay without Storing Data

Decebal Constantin Mocanu, Maria Torres Vega외 3명|arXiv (Cornell University)|2016. 10. 18.

Advanced Bandit Algorithms Research참고 문헌 2인용 수 18

한 줄 요약

이 논문은 제한된 볼트만 기계(RBMs)를 위한 온라인 학습 방법인 온라인 대비 다이버전스와 생성 재생(Generative Replay)을 결합한 OCDGR를 제안한다. 이 방법은 기존의 경험 재생 기반 학습 방식을 대체하여 RBM 자체의 생성 능력을 활용해 과거 경험을 합성 데이터로 생성한다. 명시적인 데이터 저장을 피하기 때문에 메모리 사용량을 크게 줄일 수 있으며, 이로 인해 실세계 데이터셋에서 64.28%의 경우에서 경험 재생보다 우수하거나 유사한 생성 성능를 달성한다. 시간 복잡도는 유사하게 유지된다.

ABSTRACT

Conceived in the early 1990s, Experience Replay (ER) has been shown to be a successful mechanism to allow online learning algorithms to reuse past experiences. Traditionally, ER can be applied to all machine learning paradigms (i.e., unsupervised, supervised, and reinforcement learning). Recently, ER has contributed to improving the performance of deep reinforcement learning. Yet, its application to many practical settings is still limited by the memory requirements of ER, necessary to explicitly store previous observations. To remedy this issue, we explore a novel approach, Online Contrastive Divergence with Generative Replay (OCD_GR), which uses the generative capability of Restricted Boltzmann Machines (RBMs) instead of recorded past experiences. The RBM is trained online, and does not require the system to store any of the observed data points. We compare OCD_GR to ER on 9 real-world datasets, considering a worst-case scenario (data points arriving in sorted order) as well as a more realistic one (sequential random-order data points). Our results show that in 64.28% of the cases OCD_GR outperforms ER and in the remaining 35.72% it has an almost equal performance, while having a considerably reduced space complexity (i.e., memory usage) at a comparable time complexity.

연구 동기 및 목표

• 기존 경험 재생(ER) 방식이 온라인 학습에서 높은 메모리 오버헤드를 유발하는 문제를 해결하기 위해, 특히 자원이 제한된 환경에서의 적용을 목적으로 한다.
• 생성 모델이 원시 데이터를 저장하지 않고도 과거 경험을 효과적으로 시뮬레이션할 수 있는지 탐색한다.
• 명시적인 데이터 유지 없이 생성 재생을 활용하는 RBM를 위한 온라인 학습 알고리즘을 개발한다.
• 제안된 방법의 생성 능력과 메모리 효율성 측면에서 표준 경험 재생 기반 방법과의 성능를 평가한다.

제안 방법

• 각 새로운 데이터 포인트를 수신할 때마다 가중치를 점진적으로 갱신하는 온라인 대비 다이버전스(OCD)를 사용해 RBM를 온라인 방식으로 학습한다.
• 기존의 경험 재생 방식을 대체하여, RBM 자체가 합성 과거 경험을 생성하는 생성 재생 메커니즘을 도입한다.
• 학습된 RBM를 사용해 학습된 분포에서 샘플링하여 온라인 학습 중에 이전에 관측된 데이터 포인트를 시뮬레이션한다.
• 온라인 가중치 갱신을 통해 마르코프 체인의 구조를 유지함으로써, 저장된 데이터 버퍼에 의존하지 않고도 안정적인 학습을 보장한다.
• 온라인 갱신 중 로그우도의 기울기를 근사하기 위해 고정된 스텝 수(예: nCD = 3 또는 10)로 대비 다이버전스를 적용한다.
• 생성된 샘플을 실제 과거 경험인 것처럼 온라인 학습 과정에 통합함으로써, 데이터 저장 없이도 지속적인 학습이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 RBM와 같은 생성 모델이 원시 데이터를 저장하지 않고도 온라인 학습에서 과거 경험을 효과적으로 시뮬레이션할 수 있는가?
• RQ2 생성 재생을 활용한 온라인 RBM 학습의 생성 정확도는 기존 경험 재생 방식과 비교해 어떻게 되는가?
• RQ3 대비 다이버전스 스텝 수가 온라인 RBM의 생성 성능에 미치는 영향은 무엇인가?
• RQ4 높은 메모리 효율성을 달성하면서도 낮은 시간 복잡도를 유지하는가?
• RQ5 데이터 복잡도와 데이터셋 크기가 증가함에 따라 이 방법은 어떻게 스케일링되는가?

주요 결과

• OCDGR는 테스트한 9개의 실세계 데이터셋 중 64.28%에서 기존 경험 재생 방식을 능가했으며, 나머지 35.72%는 거의 동일한 성능를 보였다.
• MNIST 데이터셋에서 RBMOCD는 10단계의 대비 다이버전스를 사용할 경우 테스트 세트 평균 로그 확률이 -104.31로, 3단계일 때 -108.96에서 향상되었다.
• RBMOCD의 학습 곡선은 시간이 지남에 따라 안정적으로 유지되었지만, RBMER-ML과 RBMER-IM은 재생 메모리가 오래되면서 분포 커버리지가 열악해져 불안정성을 보였다.
• OCDGR는 데이터 포인트를 저장하지 않아서 ER 대비 메모리 사용량이 극적으로 감소했으며, 시간 복잡도는 비교적 유사하게 유지되었다.
• 데이터셋 크기와 분포 복잡도가 증가함에 따라 OCDGR의 성능 우월성이 ER 기반 방법 대비 더욱 두드러지게 나타났다.
• 정렬된 순서와 무작위 순서의 데이터 도착 상황 모두에서 안정적이고 일관된 성능를 보여, 데이터 순서에 대한 강건성을 입증했다.