[논문 리뷰] Guiding Policies with Language via Meta-Learning

John D. Co-Reyes, Abhishek Gupta외 6명|arXiv (Cornell University)|2018. 11. 19.

Reinforcement Learning in Robotics참고 문헌 39인용 수 8

한 줄 요약

이 논문은 자연어 수정을 통해 정책을 안내하는 메타학습 프레임워크를 제안하며, 인간이 제공한 언어 피드백을 통해 에이전트가 반복적으로 행동을 개선할 수 있도록 한다. 이 방법은 과거의 트랙젝터리를 기반으로 수정 사항을 정립함으로써 시뮬레이션된 탐색 및 조작 작업에서 높은 성능을 달성하며, 비상호작용 지시 따르기 방식을 능가하고, 새로운 물체와 더 긴 수정 시퀀스로의 일반화를 가능하게 한다.

ABSTRACT

Behavioral skills or policies for autonomous agents are conventionally learned from reward functions, via reinforcement learning, or from demonstrations, via imitation learning. However, both modes of task specification have their disadvantages: reward functions require manual engineering, while demonstrations require a human expert to be able to actually perform the task in order to generate the demonstration. Instruction following from natural language instructions provides an appealing alternative: in the same way that we can specify goals to other humans simply by speaking or writing, we would like to be able to specify tasks for our machines. However, a single instruction may be insufficient to fully communicate our intent or, even if it is, may be insufficient for an autonomous agent to actually understand how to perform the desired task. In this work, we propose an interactive formulation of the task specification problem, where iterative language corrections are provided to an autonomous agent, guiding it in acquiring the desired skill. Our proposed language-guided policy learning algorithm can integrate an instruction and a sequence of corrections to acquire new skills very quickly. In our experiments, we show that this method can enable a policy to follow instructions and corrections for simulated navigation and manipulation tasks, substantially outperforming direct, non-interactive instruction following.

연구 동기 및 목표

• 자율 에이전트의 작업을 지정하기 위한 보상 함수와 디모나스트레이션의 한계를 해결하기 위해.
• 사용자가 단계별로 정책을 수정할 수 있는 상호작용적 언어 기반 작업 지정을 가능하게 하기 위해.
• 다양한 작업 간 일반화가 가능한 메타학습 모델을 개발하여 언어 피드백을 활용해 행동을 수정하기 위해.
• 공간적 추론과 정밀 제어가 요구되는 시뮬레이션 환경에서 방법을 평가하기 위해.
• 메타학습 기간 동안 접촉하지 않은 새로운 물체와 더 긴 수정 시퀀스로의 일반화를 평가하기 위해.

제안 방법

• 이 방법은 메타학습을 사용하여 자신의 과거 트랙젝터리, 언어 지시, 그리고 언어 수정 시퀀스를 입력으로 받아 행동을 향상시키는 정책을 훈련한다.
• 모델은 수동으로 설계된 문법에서 유도된 합성 언어 수정을 사용해 다양한 작업 세트에서 훈련된다.
• 메타테스트 시점에 모델은 언어 피드백에 기반해 반복적으로 행동을 개선함으로써 새로운 작업으로 일반화된다.
• 지시, 행동 이력, 수정 사항을 하나의 입력으로 통합하여 개선된 행동을 예측하는 아키텍처를 통합한다.
• 모델는 자신의 실수에서 배우며, 언어를 통해 행동 조정를 정립함으로써 오류를 수정하도록 훈련된다.
• 이 프레임워크는 방향성 수정과 이진형 수정을 모두 지원하여 정교한 정책 개선을 가능하게 한다.

실험 결과

연구 질문

• RQ1 정책이 직접 지시를 받는 대신 반복적인 언어 수정을 통해 행동을 향상시킬 수 있는가?
• RQ2 최근 수정 사항 외에 이전 수정 사항에 접근할 수 있을 경우, 성능 향상이 어떻게 달라지는가?
• RQ3 메타학습 기간 동안 접촉하지 않은 새로운 작업과 새로운 물체로 일반화가 가능한가?
• RQ4 훈련 중에 관찰한 것보다 더 긴 수정 시퀀스가 성능 향상에 기여하는가, 즉 훈련 시보다 더 긴 수정 시퀀스에서 성능이 향상되는가?
• RQ5 다양한 유형의 수정(예: 방향성 대비 이진형)이 학습 효율성에 어떤 영향을 미치는가?

주요 결과

• 10회의 수정을 포함한 다방실 탐색 작업에서 모델은 완료률 0.86을 달성하여 비상호작용 지시 따르기 방식을 크게 능가했다.
• 물체 이동 작업에서 모델은 10회의 수정을 통해 완료률 0.95에 도달하여 연속 제어에서 높은 정밀도를 보였다.
• 이전 수정 사항에 접근할 수 없게 되면 성능 저하가 가장 심했으며, 이는 과거 행동 기억이 안정적인 학습에 핵심적임을 시사한다.
• 테스트 시점에서 더 많은 수정 사항이 성능 향상에 기여했으며(예: 다방실에서 0.82에서 0.86으로), 비록 감소하는 추세이지만 지속적인 향상이 관찰되었다.
• 방향성 수정(예: '목표는 서남쪽')은 c1에서 c5로의 완료률을 25% 향상시켰지만, 이진형 수정(예: '당신은 잘못된 방에 있습니다')은 최소한의 성과 향상만 보였다.
• 훈련 중 특정 물체(예: 초록색 삼각형)에 노출되지 않은 상황에서도 모델은 c5에서 완료률 0.75를 달성하여 베이스라인을 능가했다.