[논문 리뷰] Autonomous CRM Control via CLV Approximation with Deep Reinforcement Learning in Discrete and Continuous Action Space

Yegor Tkachenko|arXiv (Cornell University)|2015. 04. 08.

Customer churn and segmentation참고 문헌 8인용 수 23

한 줄 요약

이 논문은 이산 및 연속 행동 공간에서 직접 마케팅 행동을 자동으로 최적화하기 위해 수정된 RFM-I(최근성, 빈도, 금액 가치, 마케팅 상호작용) 고객 상태 표현을 사용하는 딥 강화학습 프레임워크를 제안한다. 이력 CRM 데이터를 기반으로 딥 Q넷(DQN)을 훈련시켜 고객 생애가치(CLV)를 추정하고 장기 보상 최대화를 위한 행동을 추천함으로써, KDD 컵 1998 데이터셋에서 반응률과 기부금 액수에서 50% 이상의 향상을 달성한다.

ABSTRACT

The paper outlines a framework for autonomous control of a CRM (customer relationship management) system. First, it explores how a modified version of the widely accepted Recency-Frequency-Monetary Value system of metrics can be used to define the state space of clients or donors. Second, it describes a procedure to determine the optimal direct marketing action in discrete and continuous action space for the given individual, based on his position in the state space. The procedure involves the use of model-free Q-learning to train a deep neural network that relates a client's position in the state space to rewards associated with possible marketing actions. The estimated value function over the client state space can be interpreted as customer lifetime value, and thus allows for a quick plug-in estimation of CLV for a given client. Experimental results are presented, based on KDD Cup 1998 mailing dataset of donation solicitations.

연구 동기 및 목표

• 강화학습을 활용해 직접 마케팅 행동을 최적화하는 자율 CRM 제어 시스템을 개발한다.
• 딥 Q러닝을 확장하여 CRM 환경에서 이산 및 연속 행동 공간을 모두 처리할 수 있도록 한다.
• 개선된 RFM-I 프레임워크를 사용해 풍부하고 데이터 기반의 고객 상태 표현을 구축한다.
• Q값 함수의 부산물로 고객 생애가치(CLV)를 추정하여 실질적인 의사결정에 활용한다.
• 실제 직접 마케팅 데이터를 기반으로 프레임워크를 검증하고 뚜렷한 성능 향상을 입증한다.

제안 방법

• 고객 상태는 최근성, 빈도, 거래 및 마케팅 상호작용의 금액 가치를 포함하는 수정된 RFM-I 프레임워크를 사용해 표현한다.
• 모델에 의존하지 않는 딥 Q러닝(DQN) 알고리즘을 사용해, 관측된 보상 기반으로 고객 상태에서 최적 행동으로 매핑하는 딥 신경망을 훈련시킨다.
• 경험 재생과 타겟 네트워크를 활용해 DQN 알고리즘의 훈련 안정성과 데이터 상관관계 감소를 도모한다.
• 연속 행동 공간을 다룰 수 있도록 DQN에 새로운 확장을 도입하여, 연속 출력 헤드를 사용해 행동 값에 대한 회귀를 수행한다.
• Q값 함수의 출력은 행동별 잔여 고객 생애가치(CLV) 추정치로 해석된다.
• 시스템은 KDD 컵 1998 기부 데이터셋을 기반으로 훈련되며, 성능 평가를 위해 미사용된 데이터로 검증된다.

실험 결과

연구 질문

• RQ1 딥 강화학습 모델은 RFM-I 고객 상태 특징만을 사용해 최적의 마케팅 행동을 효과적으로 학습할 수 있는가?
• RQ2 제안된 DQN 모델은 반응률과 기부금 액수 측면에서 미사용된 고객 상태에 대해 얼마나 잘 일반화되는가?
• RQ3 강화학습의 DQN에 연속 행동 공간을 효과적으로 통합할 수 있는가? 이때 훈련 안정성은 손상되지 않는가?
• RQ4 이 맥락에서 Q값 함수는 고객 생애가치(CLV)에 대한 신뢰할 수 있는 대체 측정치로 기능하는가?
• RQ5 랜덤 탐색과 자체 수집된 경험을 통해 이전 이력 기록이 없는 상황에서도 프레임워크가 자율적으로 작동할 수 있는가?

주요 결과

• KDD 컵 1998 데이터셋에서 기준 전략 대비 평균 기부금 액수에서 50% 이상의 증가를 달성했다.
• 딥 Q넷은 장기 누적 보상 최대화를 위한 행동을 성공적으로 학습했으며, 상태 차원을 따라 예상 할인 보상 표면의 분석을 통해 이를 입증했다.
• DQN 프레임워크에 연속 행동 공간을 통합하는 것은 가능했지만, 수렴 안정성은 여전히 문제로 남아 있어 향후 연구가 필요하다.
• Q값 함수의 출력은 행동에 따라 달라지는 잔여 고객 생애가치(CLV) 추정치로 실증적으로 검증되었다.
• 랜덤 탐색을 통한 경험 수집을 통해 훈련 데이터셋을 구축함으로써, 이전 이력 기록이 없는 상황에서도 자율 학습 능력을 입증했다.
• RFM-I 차원을 따라 예상 보상의 시각화 결과는 고객 상태에 따라 최적 행동 선택 패턴이 명확히 드러났으며, 고가치 영역에서는 항상 행동 4가 다른 행동들보다 뛰어난 성능을 보였다.