[논문 리뷰] Interaction Histories and Short Term Memory: Enactive Development of Turn-taking Behaviors in a Childlike Humanoid Robot

Frank Broz, Chrystopher L. Nehaniv외 2명|arXiv (Cornell University)|2012. 02. 25.

Social Robot Interaction and HRI참고 문헌 50인용 수 9

한 줄 요약

이 논문은 짧은 기억 장치를 통해 상호작용 역사 정보를 유지함으로써 사회적 피드백(시각적 주의와 동기화)을 통해 어린이 같은 인간형 로봇이 번갈아 가며 행동하는 방식을 학습할 수 있도록 하는 행동주의적 인지 아키텍처를 제시한다. 이 시스템은 짧은 기억을 통해 시간적 맥락을 통합함으로써 복잡한 번갈아 가는 행동 시퀀스의 학습을 크게 향상시킴을 보여주며, 실시간 사회적 신호에 기반해 행동을 획득하고 전환하며 적응할 수 있다.

ABSTRACT

In this article, an enactive architecture is described that allows a humanoid robot to learn to compose simple actions into turn-taking behaviors while playing interaction games with a human partner. The robot's action choices are reinforced by social feedback from the human in the form of visual attention and measures of behavioral synchronization. We demonstrate that the system can acquire and switch between behaviors learned through interaction based on social feedback from the human partner. The role of reinforcement based on a short term memory of the interaction is experimentally investigated. Results indicate that feedback based only on the immediate state is insufficient to learn certain turn-taking behaviors. Therefore some history of the interaction must be considered in the acquisition of turn-taking, which can be efficiently handled through the use of short term memory.

연구 동기 및 목표

• 인간과의 상호작용을 통해 로봇의 사회적 행동 발달을 지원하는 행동주의적 인지 아키텍처를 개발하는 것.
• 상호작용 역사에 대한 짧은 기억이 인간-로봇 상호작용에서 번갈아 가는 행동의 학습에 어떻게 기여하는지 조사하는 것.
• 실시간 사회적 피드백(예: 시각적 주의와 동기화)에 기반해 학습된 행동들 사이를 다이나믹하게 전환할 수 있도록 하는 것.
• 유아-간호사 상호작용의 역학을 영감으로 삼아 사회적 피드백을 내재된 강화 신호로 모델링하는 것.
• 일부 번갈아 가는 행동을 습득하기 위해서는 즉각적인 피드백만으로는 부족하며, 짧은 기억을 통한 시간적 맥락이 필수적임을 입증하는 것.

제안 방법

• 시스템은 행동 선택을 안내하기 위해 감각운동 경험의 시퀀스를 저장하고 검색하는 상호작용 역사 아키텍처(IHA)를 사용한다.
• 짧은 기억 구성 요소는 최근의 상호작용 흔적을 유지하여 현재 경험과 이전 경험을 비교하고 행동 선택을 수행한다.
• 사회적 피드백은 인간의 시각적 주의와 행동 동기화에서 유도되며, 이는 강화 신호로 기능한다.
• 행동 선택은 상호작용 흔적의 메트릭 공간에서 현재 경험과 과거 경험 간의 유사도를 평가하는 보상 메커니즘에 의해 안내된다.
• 로봇은 강화 학습을 통해 번갈아 가는 행동을 학습하며, 성공적인 번갈아 가는 행동은 더 높은 보상을 얻고 행동이 강화된다.
• 시스템은 상호작용에서 반응형과 능동적 역할을 모두 지원하여, 학습된 패tern에 기반해 로봇이 게임을 시작하거나 응답할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 사전에 프로그래밍된 스크립트 없이 사회적 피드백만으로 인간형 로봇이 번갈아 가는 행동을 학습할 수 있는가?
• RQ2 상호작용 역사에 대한 짧은 기억을 통합할 경우 복잡한 번갈아 가는 행동의 학습에 어떤 영향을 미치는가?
• RQ3 즉각적인 피드백만으로는 번갈아 가는 행동을 학습하는 데 충분한가, 아니면 시간적 맥락이 필수적인가?
• RQ4 evolving social cues에 기반해 로봇이 다양한 학습된 번갈아 가는 행동을 다이나믹하게 전환할 수 있는가?
• RQ5 짧은 기억의 길이가 학습 효율성과 행동 정확도에 어떤 영향을 미치는가?

주요 결과

• 짧은 기억의 통합은 즉각적인 피드백만으로는 습득할 수 없는 번갈아 가는 행동의 학습 능력에 뚜렷한 향상을 가져왔다.
• 실험 결과, 현재 상태에만 기반한 피드백는 일부 번갈아 가는 행동 시퀀스의 학습에 부족함을 드러내며 시간적 맥락의 필요성을 강조했다.
• 시스템은 실시간 사회적 피드백(예: 시각적 주의와 동기화)에 기반해 여러 번갈아 가는 행동을 성공적으로 습득하고 전환하였다.
• 짧은 기억 윈도우의 길이가 학습 속도와 성공률에 측정 가능한 영향을 미쳤으며, 특정 기억 지속 시간에서 최적의 성능를 달성하였다.
• 로봇는 과거 경험과의 비교를 바탕으로 행동을 선택함으로써 전망성(prospection)을 보였으며, 이는 적응적이고 맥락 민감한 행동을 가능케 하였다.
• 이 아키텍처는 로봇가 번갈아 가는 게임의 주도자가 될 수 있도록 하여 초기 인간 발달에서 영감을 얻은 사회적 능동성 수준을 보여주었다.