[논문 리뷰] Deep Reinforcement Learning of Marked Temporal Point Processes

Utkarsh Upadhyay, Abir De외 1명|arXiv (Cornell University)|2018. 05. 23.

Innovation Diffusion and Forecasting인용 수 34

한 줄 요약

이 논문은 행동과 환경 피드백이 모두 이질적이고 연속적인 시간 이벤트로 모델링되는 표시된 시간점과정(MTPPs)을 위한 딥 강화학습 프레임워크를 제안한다. 딥 순환망을 사용해 정책의 강도와 표시 분포를 파arameter화함으로써, 임의의 보상 함수를 사용한 엔드 투 엔드 훈련이 가능해지며, 실제 Duolingo 및 Twitter 데이터를 바탕으로 한 개인 맞춤 교육 및 바이럴 마케팅 응용 분야에서 전문적 기반 모델들을 능가한다.

ABSTRACT

In a wide variety of applications, humans interact with a complex environment by means of asynchronous stochastic discrete events in continuous time. Can we design online interventions that will help humans achieve certain goals in such asynchronous setting? In this paper, we address the above problem from the perspective of deep reinforcement learning of marked temporal point processes, where both the actions taken by an agent and the feedback it receives from the environment are asynchronous stochastic discrete events characterized using marked temporal point processes. In doing so, we define the agent's policy using the intensity and mark distribution of the corresponding process and then derive a flexible policy gradient method, which embeds the agent's actions and the feedback it receives into real-valued vectors using deep recurrent neural networks. Our method does not make any assumptions on the functional form of the intensity and mark distribution of the feedback and it allows for arbitrarily complex reward functions. We apply our methodology to two different applications in personalized teaching and viral marketing and, using data gathered from Duolingo and Twitter, we show that it may be able to find interventions to help learners and marketers achieve their goals more effectively than alternatives.

연구 동기 및 목표

• 행동과 피드백이 모두 확률적 이벤트인 이질적이고 연속적인 시간 환경에서 온라인 간섭을 설계하는 데 도전하는 것.
• 이전의 확률적 최적 제어 방법들이 강도 및 표시 분포에 대해 고정된 기능 형태를 가정한다는 한계를 극복하는 것.
• 해석적 해가 존재하지 않는 복잡한 보상 함수를 포함한 강화학습에서 임의의 복잡한 보상 함수를 가능하게 하는 것.
• 환경 동역학에 대한 가정 없이 직접 표시된 시간점과정에 작용하는 정책 기반 강화학습 방법을 개발하는 것.
• 이 방법이 개인 맞춤 교육 및 바이럴 마케팅과 같은 실제 응용 분야에서 효과적임을 입증하는 것.

제안 방법

• 에이전트의 정책은 조건부 강도 함수와 표시 분포로 정의되며, 둘 다 딥 순환 신경망(RNNs)에 의해 파arameter화된다.
• 행동는 정책의 강도 함수에서 샘플링되고, 표시는 표시 분포에서 샘플링되며, 예약된 행동 시간 이전에 피드백 이벤트가 발생하면 재샘플링된다.
• MTPP의 우도와 보상 함수를 통해 역전파가 가능한 새로운 정책 기반 강화학습 방법이 유도되었으며, 이로써 엔드 투 엔드 훈련이 가능해졌다.
• 피드백의 강도 또는 표시 분포에 대해 특정 기능 형태를 가정하지 않아, 최신의 딥 MTPP 모델을 활용할 수 있다.
• 정규화 항이 포함된 확률적 경사 하강법을 사용해 정책 파라미터를 최적화하며, 훈련 및 평가 시 피드백 시퀀스를 분할하여 수행된다.
• 이 프레임워크는 복잡한 목표(예: 소셜 미디어 피드에서 평균 순위 최소화 또는 상위 순위 유지 시간 최대화)를 포함한 임의의 보상 함수를 지원한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 프레임워크는 연속 시간의 이질적 이벤트 환경에서 간섭을 효과적으로 모델링하고 최적화할 수 있는가?
• RQ2 특정 목표(예: 피드에서 순위 최소화 또는 상위 순위 유지 시간 최대화)를 위해 설계된 전문 기반 모델과 비교해 제안된 방법은 어떤 성능을 보이는가?
• RQ3 알려진 또는 해석 가능한 형태를 가정하지 않고도, 다양한 보상 함수와 피드백 역학에 대해 얼마나 일반화할 수 있는가?
• RQ4 기본 환경 동역학이 알려지지 않거나 복잡한 경우에도 방법이 효과적인 정책을 학습할 수 있는가?
• RQ5 실제 환경에서 히우리스틱 및 최신 기술 대비 성능과 분산 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 방법은 피드 정렬 알고리즘이 무엇이든 간주하지 않고도, 역순 시간 순서 피드에서 평균 순위 최소화 및 상위 순위 유지 시간 최대화 측면에서 RedQueen 및 Karimi 등(2023)의 방법을 모두 능가한다.
• 해석 가능한 간단한 설정에서는 확률적 최적 제어 기반 모델과 유사한 성능을 달성했으며, 진짜 동역학 정보가 없음에도 불구하고 성능을 유지를 했다.
• 거래가 불가능한 보상 함수를 포함한 복잡한 설정에서는 이전 방법이 실패하는 상황에서도 효과적인 간섭을 학습하는 데 성공했다.
• 특히 고우선순위 사용자가 많은 경쟁 환경에서 RedQueen보다 성능 변동성이 낮게 나타났다.
• 테스트 예제에서는 높은 우선순위 사용자가 게시할 때 게시를 피하는 전략을 학습함으로써 경쟁 역학에 대한 전략적 인식을 보였다.
• TensorFlow 기반 오픈소스 구현체가 공개되어 MTPP 기반 강화학습 분야의 광범위한 연구를 지원한다.