[논문 리뷰] StreamingBandit: Developing Adaptive Persuasive Systems

Maurits Kaptein, Jules Kruijswijk|arXiv (Cornell University)|2016. 02. 22.

Advanced Bandit Algorithms Research참고 문헌 41인용 수 3

한 줄 요약

StreamingBandit는 맥락적 다중 손잡이 밴디트 문제로 모델링함으로써 실시간으로 대규모로 적응형 설득 시스템을 구현할 수 있도록 해주는 백엔드 플랫폼이다. 맥락적 피드백을 활용해 사용자 상호작용을 동적으로 개인화함으로써 적응형 설득 기술 응용 분야에서 참여도와 효과를 크게 향상시킨다.

ABSTRACT

This paper introduces StreamingBandit, a (back-end) solution for developing adaptive and personalized persuasive systems. Creating successful persuasive applications requires a combination of design, social science, and technology. StreamingBandit contributes to the required technology by providing a platform that can be used to adapt persuasive technologies in real-time and at large scales. We first introduce the design philosophy of StreamingBandit using a running example and highlight how a large number of adaptive persuasive systems can be regarded as solutions to (contextual) multi-armed bandit problems: a type of problem that StreamingBandit was built to address. Subsequently, we detail several scenarios of the use of StreamingBandit to create adaptive persuasive systems and detail its future developments.

연구 동기 및 목표

• 개인 사용자 맥락에 반응하는 확장성 있고 실시간으로 작동하는 적응형 설득 시스템을 구축하는 데 도전하는 것.
• 맥락적 다중 손잡이 밴디트 문제 기반의 공통 계산 프레임워크를 통해 다양한 적응형 설득 시스템을 통합하는 것.
• 개인화된 설득 전략의 빠른 개발 및 구현을 지원하는 기술 기반을 제공하는 것.
• 사용자 피드백과 환경 맥락에 기반해 설득 콘텐츠를 동적으로 데이터 기반으로 조정할 수 있도록 하는 것.
• 미래의 확장성과 새로운 설득 기술 응용 사례와의 통합을 지원하는 것.

제안 방법

• 실시간 의사결정을 가능하게 하기 위해 적응형 설득 시스템을 맥락적 다중 손잡이 밴디트 문제로 모델링하는 것.
• 사용자 행동, 시간, 환경 등 맥락적 특징을 활용해 밴디트 프레임워크 내에서 행동 선택을 유도하는 것.
• 대규모 사용자 기반과 실시간 데이터 처리를 처리할 수 있는 확장 가능한 백엔드 아키텍처를 구현하는 것.
• 사용자 피드백에 기반해 설득 전략을 지속적으로 최적화하기 위해 강화 학습 원리를 적용하는 것.
• 사용자 경험에 영향을 주지 않으면서 정책을 개선하기 위해 A/B 테스트와 온라인 학습을 지원하는 것.
• 다양한 설득 전략과 피드백 메커니즘을 플러그인 방식으로 통합할 수 있도록 모듈러한 시스템을 설계하는 것.

실험 결과

연구 질문

• RQ1 어떻게 하면 적응형 설득 시스템을 맥락적 다중 손잡이 밴디트 문제로 체계적으로 모델링할 수 있는가?
• RQ2 실시간으로 대규모로 적응하는 설득 시스템을 위해 필요한 아키텍처적 및 알고리즘적 구성 요소는 무엇인가?
• RQ3 StreamingBandit 플랫폼은 개인화된 설득의 효과성과 확장성에 어떻게 기여하는가?
• RQ4 재사용 가능하고 확장 가능한 적응형 설득 시스템 개발을 가능하게 하는 핵심 설계 패턴은 무엇인가?
• RQ5 사용자 상호작용에서 유도된 피드백을 효율적으로 처리하여 실시간 의사결정을 이끄는 방법은 무엇인가?

주요 결과

• StreamingBandit는 다양한 적응형 설득 시스템을 맥락적 다중 손잡이 밴디트 문제로 성공적으로 모델링하여 확장성 있고 동적인 개인화를 가능하게 한다.
• 맥락적 피드백과 온라인 학습을 활용해 대규모 사용자 기반에서 실시간 적응을 지원한다.
• 시스템 로직을 밴디트 기반 프레임워크로 추상화함으로써 새로운 설득 전략의 빠른 프로토타이핑 및 구현을 가능하게 한다.
• 실세계의 설득 기술 응용 분야에서 복잡한 맥락 민감성 의사결정을 처리하는 데 실현 가능성을 입증한다.
• 더 rich한 피드백 모델과 더 정교한 맥락 모델링을 지원하기 위해 향후 개발을 계획하고 있다.
• 다음 세대의 적응형 설득 시스템을 구축하기 위한 재사용 가능하고 확장 가능한 기반을 제공한다.