[논문 리뷰] Should artificial agents ask for help in human-robot collaborative problem-solving?

Adrien Bennetot, Vicky Charisi외 1명|arXiv (Cornell University)|2020. 05. 25.

Child and Animal Learning Development참고 문헌 51인용 수 5

한 줄 요약

이 논문은 Q-학습 에이전트를 사용하여 어린이-로봇 상호작용 연구를 시뮬레이션함으로써 인공 에이전트가 인간-로봇 공동 문제 해결 과정에서 능동적으로 도움을 요청해야 하는지 조사한다. 연구 결과, 전문가의 도움은 요청되었을 때이든 일반적으로 제공되었을 때이든 어린이와 RL 에이전트 모두에게 동일하게 학습을 가속화한다는 것이 입증되었으며, 이는 도움의 유형에 관계없이 학습이 가속화된다는 것을 보여준다.

ABSTRACT

Transferring as fast as possible the functioning of our brain to artificial intelligence is an ambitious goal that would help advance the state of the art in AI and robotics. It is in this perspective that we propose to start from hypotheses derived from an empirical study in a human-robot interaction and to verify if they are validated in the same way for children as for a basic reinforcement learning algorithm. Thus, we check whether receiving help from an expert when solving a simple close-ended task (the Towers of Hanoï) allows to accelerate or not the learning of this task, depending on whether the intervention is canonical or requested by the player. Our experiences have allowed us to conclude that, whether requested or not, a Q-learning algorithm benefits in the same way from expert help as children do.

연구 동기 및 목표

• 인간 발달 학습을 영감으로 삼아 인공 에이전트가 공동 문제 해결 과정에서 능동적으로 도움을 요청해야 하는지 조사하기 위해.
• 실험적 인간-로봇 상호작용(HRI) 연구에서 유도된 가설이 강화 학습을 사용한 인공 에이전트로 일반화되는지 테스트하기 위해.
• 간단한 작업(하노이의 탑)에서 Q-학습 에이전트의 학습 효율성을 도움이 일반적으로 제공되었을 때와 에이전트가 요청했을 때 비교하기 위해.
• 에이전트의 내재적 동기와 불확실성 신호를 모델링하여 인간과 유사한 도움 요청 행동을 반영할 수 있는지 평가하기 위해.
• 전문가의 간섭이 도움이 에이전트에 의해 시작되었는지 환경에 의해 시작되었는지에 관계없이 학습을 가속화하는 데 어떤 역할을 하는지 탐구하기 위해.

제안 방법

• 간단한 하노이의 탑 작업에서 Q-학습 에이전트(LA1)와 도움 요청 에이전트(LA2)를 사용하여 인간-로봇 상호작용 시나리오를 시뮬레이션한다.
• 두 구성 방식을 구현한다: 일반적 도움(에이전트의 최적 행동이 열등할 경우 전문가가 간섭)과 요청된 도움(에이전트의 최적 Q-값이 임계값 이하일 때 에이전트가 요청함).
• 에이전트의 행동 선택에 대한 자신감에 기반해 LA2에서 도움 요청 행동을 유도하는 임계값 기반 메커니즘을 구현한다.
• 고정된 보상 구조와 상태 표현을 사용하여 도움이 학습 속도와 정확도에 미치는 영향을 분리하여 고려한다.
• 작업 완료 시간과 성공률 등의 지표를 사용해 에피소드 간 학습 성능을 비교한다.
• 에이전트 행동을 어린이의 발달 패턴, 특히 실행기능과 불확실성 모니터링과 대조하여 결과를 검증한다.

실험 결과

연구 질문

• RQ1 전문가의 도움이 요청되었을 때와 일반적으로 제공되었을 때 Q-학습 에이전트의 학습이 빨라지는가?
• RQ2 인공 에이전트는 공동 문제 해결 과제에서 어린이가 도움을 받는 것과 동일한 방식으로 도움을 이점으로 얻는가?
• RQ3 강화 학습 에이전트에서 단순한 임계값 기반 도움 요청 메커니즘이 어린이의 관찰된 인간 유사 도움 요청 행동을 재현할 수 있는가?
• RQ4 도움 요청의 시기와 빈도는 인공 에이전트의 학습 효율성에 어떤 영향을 미치는가?
• RQ5 도움 제공 방식(요청된 vs. 일반적)이 에이전트의 전략 학습 및 일반화 능력에 미치는 영향은 어느 정도인가?

주요 결과

• Q-학습 에이전트는 도움이 요청되었을 때이든 일반적으로 제공되었을 때이든 동일하게 이점을 얻으며, 이는 어린이의 연구 결과와 일치한다.
• 자신감이 낮을 때 능동적으로 도움을 요청하는 LA2는 도움 요청을 하지 않는 LA1보다 더 빠른 학습을 달성하지만, 초기에는 과도한 의존성으로 인해 효율성이 떨어진다.
• 초기 단계의 도움 의존성 이후 LA2는 탐색과 독립적 학습을 통해 효율성을 회복하며, 적응적 학습 행동을 보여준다.
• 일반적 도움과 요청된 도움 간 성능 차이는 미미하여, 도움 제공 방식 자체보다 도움의 존재 자체가 더 중요하다는 것을 시사한다.
• 결과는 단순한 형태의 도움 요청 행동이 인공 에이전트의 학습을 가속화하며, 인간 어린이와 유사하다는 가설을 지지한다.
• 이 연구는 향후 에이전트가 더 정교한 불확실성 모델링을 통합하여 고정 임계값에 의존하는 것보다 인간 유사 도움 요청을 더 잘 모방할 수 있도록 해야 한다고 시사한다.