[논문 리뷰] A Stochastic Differential Equation Framework for Guiding Online User Activities in Closed Loop

Yichen Wang, Evangelos A. Theodorou외 2명|arXiv (Cornell University)|2016. 03. 30.

Advanced Bandit Algorithms Research참고 문헌 38인용 수 8

한 줄 요약

이 논문은 점과정정기반 사용자 활동 모델을 확률적 미분방정식(SDE)로 재구성하는 SDE 프레임워크를 제안한다. 이는 실시간 피드백 제어를 가능하게 하여 온라인 사용자 활동의 피드백 기반 지도 제어를 실현하며, 점과정정기 기반의 기존 모델보다 훨씬 낮은 총비용과 높은 예측 정확도를 달성한다. 특히 노드 생성이 수반되는 시간에 따라 변화하는 네트워크에서 성능이 뛰어나다. 이론적으로 일반 점과정정기 모델에 대해 일반화된 이토의 보조정리와 하미튼-자코비-벨리만 방정식을 확장함으로써, 실시간 피드백 제어가 가능한 일반화된 SDE 기반 제어 이론을 구축한다.

ABSTRACT

Recently, there is a surge of interest in using point processes to model continuous-time user activities. This framework has resulted in novel models and improved performance in diverse applications. However, most previous works focus on the "open loop" setting where learned models are used for predictive tasks. Typically, we are interested in the "closed loop" setting where a policy needs to be learned to incorporate user feedbacks and guide user activities to desirable states. Although point processes have good predictive performance, it is not clear how to use them for the challenging closed loop activity guiding task. In this paper, we propose a framework to reformulate point processes into stochastic differential equations, which allows us to extend methods from stochastic optimal control to address the activity guiding problem. We also design an efficient algorithm, and show that our method guides user activities to desired states more effectively than the state of the art.

연구 동기 및 목표

• 실시간 피드백이 통합된 폐쇄형 제어 설정에서 온라인 사용자 활동을 지도하는 데 도전하는 것. 이는 개방형 예측 모델을 넘어서는 것이다.
• 사용자 행동의 점과정정기 모델과 확률적 최적 제어 이론 사이의 격차를 메우며, 동적 정책 학습을 가능하게 하는 것.
• 노드 생성과 복잡한 동역학을 수반하는 시간에 따라 변화하는 네트워크에서 점과정정기 모델을 일반화된 SDE로 재구성하는 방법을 개발하는 것.
• 클래식한 확률적 제어 도구—예를 들어 이토의 보조정리와 HJB 방정식—을 하크스, 생존, 노드 생성 과정 등 고급 점과정정기로 구동되는 SDE에 확장하는 것.
• 더 빠른 수렴 속도와 낮은 분산을 보이며, 목표 상태로 사용자 활동 동역학을 안정적으로 이끄는 효율적인 알고리즘 설계

제안 방법

• 하크스, 생존, 노드 생성 과정 등 다양한 점과정정기 기반 사용자 활동 모델을 점프 디퓨전을 포함한 확률적 미분방정식(SDE)으로 재구성한다.
• 일반 점과정정기로 구동되는 SDE에 대해 일반화된 이토의 보조정리와 수정된 하미튼-자코비-벨리만(HJB) 방정식을 도입함으로써, 고전적 확률적 제어 이론을 확장한다.
• 현재 사용자 상태 x(t)를 각 시점 t에서 행동 u(x(t), t)로 매핑하는 피드백 제어 정책을 개발하여 실시간 적응이 가능하도록 한다.
• 가치 함수 근사와 유한차분 또는 크로스엔트로피 방법을 활용해 HJB 방정식을 수치적으로 풀어 정책 최적화를 수행한다.
• 동적 노드 및 링크 생성이 수반되는 시간에 따라 변화하는 네트워크를 다룰 수 있도록 설계된 정책 학습 알고리즘을 개발하며, 확장성과 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 온라인 사용자 활동의 점과정정기 모델을 체계적으로 확률적 미분방정식(SDE)로 재구성하여 폐쇄형 제어를 가능하게 할 수 있는가?
• RQ2 확률적 최적 제어 이론은 어떻게 하크스, 생존, 노드 생성 과정 등 복잡한 점과정정기로 구동되는 SDE를 다룰 수 있도록 확장될 수 있는가?
• RQ3 목표 상태로 사용자 활동을 이끄는 데 있어 시간에 따라 변화하는 피드백 정책이 고정 또는 개방형 정책보다 성능 향상이 얼마나 이루어지는가?
• RQ4 고주기적 노드 생성과 변화하는 구조를 가지는 동적 네트워크에서 제안된 프레임워크는 어떤 성능을 보이는가?
• RQ5 검증용 실세계 트래잭터리에서 평가했을 때, 최적 제어 정책의 예측 정확도는 얼마나 향상되는가?

주요 결과

• 시간에 따라 변화하는 Memetracker 네트워크에서 LSOG 작업에서 우리의 방법은 CrossEntropy 대비 약 6배 낮은 총비용을 기록하여 뛰어난 제어 성능을 입증한다.
• Twitter 네트워크에서 OIM 작업에서는 우리의 방법이 노드 생성 빈도가 높고 확률적 요소가 강한 환경에서 CrossEntropy 대비 총비용을 약 3배 낮춘다.
• Memetracker와 Twitter 데이터셋 양쪽에서 최적 궤적 순서 예측 정확도에서 우리의 방법은 CrossEntropy 대비 0.4 이상 높은 성능을 보이며, 실제 최적 정책과의 일치도가 뚜렷하게 향상됨을 시사한다.
• 비용 제약 조건 하에서도 성능 유지가 뛰어나며, 비용 트레이드오프 파rameter ρ가 증가함에 따라 기준선 대비 예측 정확도 감소 속도가 더 느리게 나타난다.
• 특히 동적 링크 생성과 노드 생성이 수반되는 네트워크에서 사용자 의견 동역학을 목표 상태로 이끄는 데 있어 강건성과 더 빠른 수렴 속도를 보인다.