[논문 리뷰] Variational Policy for Guiding Point Processes

Yichen Wang, Grady Williams외 2명|arXiv (Cornell University)|2017. 01. 30.

Point processes and geometric inequalities참고 문헌 38인용 수 8

한 줄 요약

이 논문은 체계적 최적 제어 문제를 측도 이론적 추론 문제로 공식화하여 시간적 점과정을 지도하는 변분 정책 프레임워크를 제안한다. 확률적 최적 제어를 측도 이론적 관점에서 다루며, KL 발산을 사용한 변분 추론을 통해 확장 가능하고 적응 가능한 제어 정책을 도출한다. 이 정책은 인тен시티 함수를 최적화하여 합성 및 실제 사회망 응용 프로그램에서 사용자 행동을 목표 상태로 이끄는 데 뛰어난 성능을 발휘한다.

ABSTRACT

Temporal point processes have been widely applied to model event sequence data generated by online users. In this paper, we consider the problem of how to design the optimal control policy for point processes, such that the stochastic system driven by the point process is steered to a target state. In particular, we exploit the key insight to view the stochastic optimal control problem from the perspective of optimal measure and variational inference. We further propose a convex optimization framework and an efficient algorithm to update the policy adaptively to the current system state. Experiments on synthetic and real-world data show that our algorithm can steer the user activities much more accurately and efficiently than other stochastic control methods.

연구 동기 및 목표

• 사회 시스템에서 시간적 점과정으로 모델링된 사용자 행동에 영향을 주는 효과적인 제어 정책의 부족을 해결하기 위해.
• 선형 근사, 이차 비용, 해석이 불가능한 HJB PDE 해를 기반으로 하는传통적 확률적 제어 방법의 한계를 극복하기 위해.
• 하우크스 과정과 같은 점과정에 의해 구동되는 비선형이며 고차원적인 시스템을 위한 일반적이고 확장 가능하며 적응 가능한 제어 프레임워크를 개발하기 위해.
• 제어 이론에서 흔히 볼 수 있는 임의의 비용 설계를 피하고, 확률적 역학에서 자연스럽게 유도되는, 구조 기반의 비용 함수를 제공하기 위해.
• 현재 시스템 상태를 기반으로 한 전방 샘플링과 변분 추론을 사용하여 실시간으로 적응 가능한 모델 예측 제어를 실현하기 위해.

제안 방법

• 확률적 최적 제어 문제를 측도 이론적 시각에서 최적 측도 선택 문제로 재구성한다.
• 제어된 측도와 원래 측도 간의 KL 발산을 포함한 변분 목표를 최소화하여 최적 측도의 해석적 형태를 유도한다.
• 역학에서 자연스럽게 유도되는 제어 비용 함수를 도입하여 제어 이론에서 흔히 볼 수 있는 임의의 비용 설계를 피한다.
• 전방 샘플링을 통해 정책을 계산하는 확장 가능한 모델 예측 제어(MPC) 알고리즘을 개발하여 실시간 적응을 가능하게 한다.
• 목표 측도와 정책에 의해 유도된 측도 간의 KL 발산을 최소화하여 최적 정책을 근사하기 위해 변분 추론을 사용한다.
• 현재 시스템 상태와 이전 관측치를 기반으로 매 시간 단계에서 정책을 효율적으로 업데이트하기 위해 볼록 최적화 프레임워크를 활용한다.

실험 결과

연구 질문

• RQ1 하우크스 과정과 같은 점과정에 의해 구동되는 비선형이며 고차원적인 시스템을 위한 일반적인 제어 정책을 어떻게 설계할 수 있는가?
• RQ2 시스템 역학이 비용 함수에 자연스럽게 통합되는 제어 정책을 유도할 수 있는가? 이는 비용 함수를 임의로 설정하는 것을 피할 수 있다.
• RQ3 복잡하고 비동기적인 사건 동역학과 장기 기억 효과를 가진 시스템에서 어떻게 확장 가능하고 실시간으로 제어할 수 있는가?
• RQ4 기존의 확률적 제어 및 히우리스틱 방법에 비해 변분 정책 프레임워크는 사용자 행동을 이끄는 데 어떤 성능 향상을 보이는가?
• RQ5 제안된 방법은 경쟁적인 소셜 미디어 환경에서 브로드캐스터의 가시성을 효과적으로 유지할 수 있는가?

주요 결과

• KL-MPC는 브로드캐스터의 평균 순위를 1.5로 유지하여 CE-MPC 대비 4배 낮은 수준이며, 이상적인 1위 성능에 가까운 결과를 기록했다.
• KL-MPC는 예측 정확도를 CE-MPC 대비 30% 이상 향상시켰으며, 최고의 평가 설계에서 정확도가 0.3를 초과했다.
• 이 방법은 경쟁자 활동에 따라 인тен시티를 적절히 조절하여, 경쟁자가 활동할 땐 게재 빈도를 증가시키고, 비활동 시에는 감소시키는 등 유연한 조절을 성공적으로 수행했다.
• 실제 실험에서, 프레임워크는 상태 비용 및 예측 정확도 지표 모두에서 게리프, FD, CE 기반 베이스라인보다 뛰어난 성능을 보였다.
• 적응 가능한 인텐시티 조절을 통해 제어 정책이 시스템 행동에 영향을 주면서도 원래 인텐시티에서의 과도한 이탈을 방지함으로써 균형을 유지함을 입증했다.
• 전방 샘플링 기반의 MPC 설계와 볼록 최적화 프레임워크 덕분에 알고리즘이 확장 가능하고 실시간 배포에 적합하다.