[논문 리뷰] Using Cognitive Models to Train Warm Start Reinforcement Learning Agents for Human-Computer Interactions

Chao Zhang, Shihan Wang외 2명|arXiv (Cornell University)|2021. 03. 10.

Reinforcement Learning in Robotics참고 문헌 28인용 수 5

한 줄 요약

이 논문은 인간-컴퓨터 상호작용을 위한 강화학습(RL) 에이전트의 '따뜻한 시작(warm start)'을 가능하게 하기 위해, 증거 누적 모델과 ACT-R와 같은 인지 모델을 사용하여 인간 사용자 행동을 시뮬레이션하고 사전 훈련하는 방법을 제안한다. 이는 실제 사용자 상호작용의 필요성을 줄이고, 신체 활동 촉진 및 주행 보조에서 높은 행동 영향력과 효과적인 차선 유지 보조 기능을 달성한다. 결과적으로, 모델 기반 시뮬레이션은 실제 배포 이전에 초기 정책 성능을 향상시킨다.

ABSTRACT

Reinforcement learning (RL) agents in human-computer interactions applications require repeated user interactions before they can perform well. To address this "cold start" problem, we propose a novel approach of using cognitive models to pre-train RL agents before they are applied to real users. After briefly reviewing relevant cognitive models, we present our general methodological approach, followed by two case studies from our previous and ongoing projects. We hope this position paper stimulates conversations between RL, HCI, and cognitive science researchers in order to explore the full potential of the approach.

연구 동기 및 목표

• 인간-컴퓨터 상호작용(HCI)을 위한 강화학습(RL)에서 에이전트가 효과적인 정책을 학습하기 위해 광범위한 사용자 상호작용이 필요로 하는 냉시작 문제를 해결한다.
• 데이터 집약적인 RL의 한계를 극복하기 위해, 인지 모델을 활용해 합성된 사용자 상호작용 데이터를 생성하여 사전 훈련을 수행한다.
• 인지 모델을 사용하여 사용자 행동을 시뮬레이션함으로써, 실제 HCI 응용에서 RL 에이전트의 수렴 속도 향상과 성능 향상을 달성한다.
• 대규모 역학적 사용자 데이터가 필요 없이도 개인화되고 적응 가능한 상호작용 시스템을 지원하기 위해 인지 모델링과 RL을 통합한다.
• 인지 과학, HCI, RL 간의 상호보완적 상호작용을 탐색하여 더 효율적이고 사용자 友好的한 상호작용 시스템을 구축한다.

제안 방법

• 증거 누적 모델(EAMs)과 ACT-R와 같은 인지 아키텍처를 사용하여 상호작용 환경에서 인간의 의사결정 및 학습 과정을 시뮬레이션한다.
• 인지 모델 기반의 확률적 인간 시뮬레이터를 구축하여, 다음 상태와 보상 등을 포함한 합성된 사용자 상호작용 데이터를 생성한다.
• 실제 사용자와의 상호작용 이전에, 인간 시뮬레이터에서 생성된 시뮬레이션 데이터를 사용하여 RL 에이전트를 사전 훈련하여 초깃 politicy를 학습한다.
• 결정 임계값, 선호도 등 인지 모델의 파라미터를 보상 함수에 통합하여 RL 에이전트가 인지 상태를 영향력 있게 조정하도록 이끈다.
• 시뮬레이션에서 사전 훈련된 정책의 유효성을 평가하기 위해 인간을 포함한 실험(인간-중심 실험)을 가능하면 수행한다.
• 역사적 행동 데이터와 심리학 이론(예: 기억 및 의사결정 이론)을 융합하여 시뮬레이션된 사용자 모델의 현실성과 정교함을 향상시킨다.

실험 결과

연구 질문

• RQ1 인지 모델은 상호작용 작업에서 인간 사용자 행동을 효과적으로 시뮬레이션하여 RL 에이전트의 사전 훈련을 가능하게 할 수 있는가?
• RQ2 인지 모델이 생성한 데이터로 사전 훈련한 RL 에이전트의 성능은 실제 사용자 상호작용에서의 냉시작 훈련에 비해 어떻게 향상되는가?
• RQ3 개인화된 RL 에이전트를 훈련할 때 인지 모델은 사용자 행동의 개인적 차이를 어느 정도 반영할 수 있는가?
• RQ4 경험적으로 검증된 인지 모델을 사용할 경우, 사전 훈련된 RL 정책의 일반화 능력과 신뢰성은 어떻게 향상되는가?
• RQ5 인지 모델과 RL의 통합은 에이전트 성능을 통해 인지 이론을 검증하고 개선하는 피드백 루프를 만들 수 있는가?

주요 결과

• 신체 활동 촉진을 위한 인지 모델 기반 시뮬레이터를 사용해 사전 훈련한 RL 에이전트는 맥락 무시형 에이전트보다 더 높은 행동 영향력을 가진 알림을 제공하였다.
• 운전 보조 사례 연구에서, 사전 훈련된 RL 에이전트는 시뮬레이션된 운전사의 산만함 상태를 기반으로 최적의 간섭 시점을 성공적으로 식별하였으며, 운전사의 자율성을 유지하였다.
• 시뮬레이션 데이터를 사용한 사전 훈련은 정책 수렴을 위해 필요한 실제 사용자 상호작용의 수를 크게 감소시켜, 냉시작 문제를 완화시켰다.
• 인지 모델의 활용은 관측되지 않는 인지 상태(예: 결정 임계값, 편향)를 추정하고, 이를 RL 보상 함수에 통합하는 데 기여하였다.
• 이 방법은 행동 건강 및 지능형 교통 분야라는 두 개의 서로 다른 HCI 영역에서의 적용 가능성을 입증하여 광범위한 적용 가능성을 보였다.
• 경험적으로 검증된 인지 모델은 시뮬레이션 데이터의 신뢰성을 향상시켜, 모델 정확도 부족으로 인한 정책 실패 위험을 감소시켰다.