[논문 리뷰] Language Grounding through Social Interactions and Curiosity-Driven Multi-Goal Learning

Nicolas Lair, Cédric Colas외 4명|arXiv (Cornell University)|2019. 11. 08.

Reinforcement Learning in Robotics참고 문헌 24인용 수 6

한 줄 요약

이 논문은 내재된 호기심과 사회적 파트너의 피드백을 통해 자연어(NL) 목표를 자율적으로 탐색하고 기반화하는 강화학습 에이전트인 LE2를 제안한다. 기술적 피드백에서 자연어 조건화 보상 함수를 학습함으로써, 에이전트는 자율적 학습 커리큘럼을 구축하며 약 80,000 에피소드 후에 시뮬레이션 내 51개의 복잡한 로봇 조작 과제를 점진적인 기술 습득과 높은 보상 모델 정확도로 습득한다.

ABSTRACT

Autonomous reinforcement learning agents, like children, do not have access to predefined goals and reward functions. They must discover potential goals, learn their own reward functions and engage in their own learning trajectory. Children, however, benefit from exposure to language, helping to organize and mediate their thought. We propose LE2 (Language Enhanced Exploration), a learning algorithm leveraging intrinsic motivations and natural language (NL) interactions with a descriptive social partner (SP). Using NL descriptions from the SP, it can learn an NL-conditioned reward function to formulate goals for intrinsically motivated goal exploration and learn a goal-conditioned policy. By exploring, collecting descriptions from the SP and jointly learning the reward function and the policy, the agent grounds NL descriptions into real behavioral goals. From simple goals discovered early to more complex goals discovered by experimenting on simpler ones, our agent autonomously builds its own behavioral repertoire. This naturally occurring curriculum is supplemented by an active learning curriculum resulting from the agent's intrinsic motivations. Experiments are presented with a simulated robotic arm that interacts with several objects including tools.

연구 동기 및 목표

• 사전에 정의된 과제나 외부 보상 없이도 자율적인 에이전트가 목표를 탐색하고 보상 함수를 학습할 수 있도록 하는 것.
• 사회적 파트너와의 상호작용을 통해 자연어 기술을 구체적인 행동 목표로 기반화하는 것.
• 다중 목표 환경에서 점진적인 기술 습득을 가능하게 하는 자기 조직화된 호기심 기반 커리큘럼을 개발하는 것.
• 내재된 탐색을 통해 목표 조건화 정책과 언어 조건화 보상 함수를 동시에 훈련하는 것.
• 사회적 파트너의 언어 피드백이 자율적이고 확장 가능한 기술 습득을 가능하게 하는지 실험적으로 입증하는 것.

제안 방법

• 에이전트는 외부 보상 신호 없이 환경을 자유롭게 탐색하며 궤적을 수집한다.
• 사회적 파트너가 달성된 행동에 대한 자연어 기술을 제공하여 51개의 고유한 목표로 구성된 데이터셋을 형성한다.
• 신경망이 자연어 기술을 스칼라 보상으로 매핑하는 언어 조건화 보상 함수를 학습한다.
• 에이전트는 내재된 호기심(학습 진전)을 활용해 정보량이 높은 상태로 탐색을 유도한다.
• 발견된 목표를 달성하기 위해 학습된 보상 함수를 사용해 목표 조건화 정책을 훈련한다.
• 수집된 궤적을 기반으로 상호작용적이고 자기지도 학습 방식으로 보상 모델과 정책을 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 외부 보상 없이 다중 목표 환경에서 에이전트가 자율적으로 자연어 목표를 탐색하고 기반화할 수 있는가?
• RQ2 사회적 파트너의 언어 피드백이 에이전트의 내재적 탐색과 커리큘럼 형성에 얼마나 효과적인가?
• RQ3 로봇 조작 환경에서 언어 기반 탐색으로부터 호기심 기반 자기 조직화 커리큘럼이 도출될 수 있는가?
• RQ4 학습 과정에서 학습된 보상 함수의 성능은 어떻게 변화하며, 다양한 목표에 대해 얼마나 일반화되는가?
• RQ5 언어 조건화 보상 함수는 점진적 학습을 통해 점점 더 복잡한 과제를 습득하는 데 얼마나 기여하는가?

주요 결과

• 에이전트는 자율적 탐색을 통해 ArmToolsToys 환경 내 정의된 51개의 모든 목표를 성공적으로 탐색하고 습득했다.
• 약 80,000개의 훈련 에피소드 후 보상 모델이 거의 완벽한 성능(F1 점수 약 1.0)을 보이며 목표 달성 예측 정확도가 매우 높음을 확인했다.
• 초기 훈련 단계에서 정밀도와 재현율 지표는 클래스 간에 상당한 변동성을 보이며, 다양한 목표 표현을 균일하게 학습하는 데 어려움이 있음을 시사했다.
• 클래스 불균형으로 인해 전체 모델 지표(정밀도 및 재현율)는 초기에 잘못된 인식을 유도했으며, 개별 목표에서의 열악한 성능가려는 경향이 있었다.
• 언어 피드백과 내재된 호기심의 조합이 단순한 목표에서 복잡한 목표로 진행되는 자연스럽고 자기 조직화된 커리큘럼을 가능하게 했다.
• 에이전트의 학습 궤적은 내재적 동기부여에 의해 유도되어 외부 감독 없이 효율적인 데이터 수집과 점진적 기술 습득을 이끌었다.