[논문 리뷰] Learning to Engage with Interactive Systems: A Field Study on Deep Reinforcement Learning in a Public Museum

Lingheng Meng, Daiwei Lin외 4명|arXiv (Cornell University)|2019. 04. 14.

Reinforcement Learning in Robotics참고 문헌 78인용 수 5

한 줄 요약

이 논문은 적외선 센서 데이터를 사용하여 그룹 상호작용 중 인간의 참여도를 추정하는 딥 강화학습(DRL) 프레임워크를 제안한다. 이 프레임워크는 활동적인 제스처와 수동적인 점유율을 모두 포함하며, 이 참여도 추정치를 보상 신호로 사용하여 대규모 상호작용 조각 설치물(Living Architecture)에서 적응형이고 생명적인 행동을 훈련시킨다. 이 방법은 사전 스크립트된 행동들보다 참여도와 인상성 측면에서 뛰어나며, 개방형이고 동적인 환경에서 자율적이고 사회적으로 적응 가능한 시스템의 실현 가능성을 입증한다.

ABSTRACT

Physical agents that can autonomously generate engaging, life-like behaviour will lead to more responsive and interesting robots and other autonomous systems. Although many advances have been made for one-to-one interactions in well controlled settings, future physical agents should be capable of interacting with humans in natural settings, including group interaction. In order to generate engaging behaviours, the autonomous system must first be able to estimate its human partners' engagement level. In this paper, we propose an approach for estimating engagement during group interaction by simultaneously taking into account active and passive interaction, i.e. occupancy, and use the measure as the reward signal within a reinforcement learning framework to learn engaging interactive behaviours. The proposed approach is implemented in an interactive sculptural system in a museum setting. We compare the learning system to a baseline using pre-scripted interactive behaviours. Analysis based on sensory data and survey data shows that adaptable behaviours within an expert-designed action space can achieve higher engagement and likeability.

연구 동기 및 목표

• 비정형이고 공공적인 환경에서 장기간에 걸쳐 인간 그룹과 적응형으로 상호작용할 수 있는 자율 시스템을 개발하는 것.
• 활동적인 제스처(예: 손 흔들기)와 수동적인 점유율(근접한 존재)을 조합하여 그룹 상호작용 중 인간의 참여도를 추정하는 것.
• 참여도를 학습된 보상 신호로 사용하여 딥 강화학습을 통해 상호작용 행동을 훈련시키고, 지속적인 적응을 가능하게 하는 것.
• 실제 박물관 환경에서의 참여도와 인상성 측면에서 학습된 행동이 사전 스크립트된 행동들보다 뛰어나다는 것을 평가하는 것.
• 명시적인 인간 감시 없이도 암시적 인간 피드백(센서 데이터를 통한)을 사용하여 상호작용 시스템을 훈련시키는 것의 실현 가능성 탐색

제안 방법

• 시스템은 다수의 적외선(IR) 센서를 사용하여 활동적인 인간 제스처(예: 손 흔들기)와 수동적인 점유율(상호작용 영역 내 존재)을 모두 탐지한다.
• 참여도는 활동적 상호작용 빈도와 수동적 점유율 지속 시간을 조합한 복합 보상 신호로 모델링되며, 연속적이고 실시간 피드백 신호로 제공된다.
• 정책 신경망을 훈련하기 위해 딥 디터미니스틱 정책 그래디언트(DDPG) 알고리즘을 사용하여, 조각 설치물 액추에이터의 연속적 동작 제어를 가능하게 한다.
• 보상 함수는 지속적인 참여도를 극대화하도록 설계되었으며, 과도한 刺激을 방지하기 위해 신선함과 반응성의 균형을 고려한다.
• 간단한 시뮬레이터는 사전 훈련을 위한 것이 아니라 초기 하이퍼파라미터 튜닝 및 코드 검증을 위해 사용된다.
• 시스템은 실제 박물관 설치물(예: Radiant Soil)에 배포되어 장기간에 걸쳐 실시간 방문자 상호작용에서 학습한다.

실험 결과

연구 질문

• RQ1 암시적 참여 신호를 사용하여 실생활의 개방형 환경에서 그룹 상호작용 설정에서 강화학습 에이전트가 매력적인 행동을 학습할 수 있는가?
• RQ2 기반 학습 행동 생성이 박물관 환경에서 사전 스크립트된 행동들보다 더 높은 인식된 참여도와 인상성을 제공하는가?
• RQ3 수동적 점유율과 활동적 제스처가 그룹 설정에서 신뢰할 수 있는 참여도 추정 신호를 위해 어떻게 상호작용하는가?
• RQ4 DRL 에이전트가 다양한 비정형 인간 상호작용 패tern에 대해 시간이 지남에 따라 행동을 얼마나 잘 적응시킬 수 있는가?
• RQ5 고도의 자유도를 가진 실생활 대규모 상호작용 시스템에 DRL을 구현할 때의 실용적 과제는 무엇인가?

주요 결과

• 센서 데이터를 통한 상호작용 빈도와 지속 시간을 반영하여 측정한 결과, 학습된 정책(PLA)이 사전 스크립트된 행동(PB) 기준선보다 유의미하게 높은 평균 참여도를 기록했다.
• 설문 조사 결과, 방문객들은 학습된 시스템이 사전 스크립트된 버전보다 더 매력적이고 참여도가 높다고 평가했으며, 이는 사회적 수용성 향상을 시사한다.
• 시스템은 그룹 역학, 사회적 영향(예: 모방), 다양한 방문자 숙련도 등 다양한 상호작용 스타일에 성공적으로 적응했다.
• 활동적 제스처와 수동적 점유율을 조합한 복합 참여도 신호가 사회적으로 적절하고 반응적인 행동으로 방향을 잡는 데 효과적이었다.
• 샘플 효율성 문제와 현실적인 시뮬레이터 부족에도 불구하고, DDPG 기반 접근법은 실제 박물관 환경에서 장기간에 걸쳐 안정적인 학습을 보였다.
• 결과적으로 암시적 참여 기반 보상 설계가 개방형 환경에서 자율적이고 적응형 상호작용 시스템을 훈련시키는 데 실현 가능하다는 것이 제안된다.