[논문 리뷰] Zero-shot Task Adaptation using Natural Language

Prasoon Goyal, Raymond J. Mooney외 1명|arXiv (Cornell University)|2021. 06. 05.

Multimodal Machine Learning Applications참고 문헌 39인용 수 5

한 줄 요약

이 논문은 언어 기반 보상 및 가치 적응(Language-Aided Reward and Value Adaptation, LARVA)을 제안하며, 관련된 소스 작업의 시범과 작업 차이점에 대한 자연어 기술을 이용해 새로운 작업을 수행할 수 있도록 하는 제로샷 프레임워크이다. 문제를 목표 상태 예측과 보상/가치 함수 적응으로 분해함으로써, LARVA는 템플릿 기반 언어에서는 95% 이상, 자유형 자연어에서는 70% 이상의 성공률을 달성한다.

ABSTRACT

Imitation learning and instruction-following are two common approaches to communicate a user's intent to a learning agent. However, as the complexity of tasks grows, it could be beneficial to use both demonstrations and language to communicate with an agent. In this work, we propose a novel setting where an agent is given both a demonstration and a description, and must combine information from both the modalities. Specifically, given a demonstration for a task (the source task), and a natural language description of the differences between the demonstrated task and a related but different task (the target task), our goal is to train an agent to complete the target task in a zero-shot setting, that is, without any demonstrations for the target task. To this end, we introduce Language-Aided Reward and Value Adaptation (LARVA) which, given a source demonstration and a linguistic description of how the target task differs, learns to output a reward / value function that accurately describes the target task. Our experiments show that on a diverse set of adaptations, our approach is able to complete more than 95% of target tasks when using template-based descriptions, and more than 70% when using free-form natural language.

연구 동기 및 목표

• 에이전트가 시범을 제공받지 않고도 소스 작업의 시범과 작업 차이점에 대한 자연어 기술을 조합하여 새로운 작업을 학습할 수 있도록 하는 것.
• 모든 작업에 대해 시범이 필요로 하는 이민러닝의 한계와 복잡한 작업 세부사항을 처리하기 어려운 지시 수행의 한계를 해결하기 위해 두 모odal을 통합하는 것.
• 손으로 설계된 특징 없이 다양한 작업 적응에 일반화 가능한 스케일러블하고 데이터 기반의 모델을 개발하는 것.
• 학습 데이터에서 별도로 '파란 실린더'와 같이 '파란'과 '실린더'를 별도로 학습한 후 조합하여 새로운 개념을 구성할 수 있는 능력을 평가하는 것.
• 학습 문제를 목표 예측과 보상/가치 적응으로 분해함으로써 성능 향상과 중간 지도 학습이 가능해지는지 확인하는 것.

제안 방법

• LARVA는 소스 시범, 작업 차이점에 대한 자연어 기술, 그리고 목표 작업의 보상 또는 가치 함수를 입력으로 받는다.
• 모델은 작업을 두 가지 하위 문제로 분해한다: 목표 작업의 목표 상태를 예측하고, 해당 보상 또는 가치 함수를 예측한다.
• 신경망을 사용해 소스 시범과 자연어 기술을 인코딩하며, 언어 개념과 시범 내 객체 및 동작 간의 정렬을 위해 교차 어텐션 메커니즘을 활용한다.
• 목표 예측 헤드를 별도로 훈련한 후 공동 훈련을 통해 가치/보상 헤드를 훈련함으로써 중간 지도 학습을 구현한다.
• 일반화를 위해, 모델은 훈련 중에 볼 수 없었던 분포 외의 개념(예: '파란 실린더')을 대상으로 평가되어 구성적 일반화 능력을 테스트한다.
• 모델은 이산적인 동작과 상태를 가진 합성 환경에서 엔드 투 엔드로 훈련되며, 저수준 제어를 추상화하여 고수준 계획에 집중한다.

실험 결과

연구 질문

• RQ1 에이전트가 소스 시범과 작업 차이점에 대한 자연어 기술 외에는 추가 정보 없이 제로샷 환경에서 목표 작업을 성공적으로 수행할 수 있는가?
• RQ2 시범과 언어를 조합함으로써 단일 모odal을 사용하는 것보다 성능이 향상되는가?
• RQ3 훈련 중에 볼 수 없었던 객체와 동작의 새로운 조합에 대해 모델이 얼마나 잘 일반화되는가?
• RQ4 학습 문제를 목표 예측과 보상/가치 적응으로 분해함으로써 성능 향상과 훈련 안정성이 향상되는가?
• RQ5 템플릿 기반 언어와 자유형 자연어 기술 간 성능에 어떤 차이가 있는가?

주요 결과

• 템플릿 기반 자연어 기술을 사용할 경우 LARVA는 목표 작업을 95% 이상의 성공률로 완수한다.
• 자유형 자연어를 사용할 경우 모델는 목표 작업의 70% 이상을 성공적으로 완수하여 자연어 변형에 대한 강건성을 입증한다.
• 제거 실험 결과, 시범이나 자연어 중 하나만 사용할 경우 성능이 크게 떨어지며, 多모odal 융합의 필요성을 입증한다.
• 목표 예측과 가치 예측으로 문제를 분해하지 않을 경우 성능이 크게 떨어지며, 이는 이중 단계 설계의 중요성을 확인한다.
• 훈련 중에 등장하지 않은 객체-동작 조합(예: '파란 실린더')에도 일반화되며, 구성적 일반화 능력을 보여준다.
• 강력한 성능에도 불구하고 템플릿 기반 언어와 자유형 언어 간의 성능 격차가 여전히 크며, 언어 모델링 향상과 데이터 필터링 개선 여지가 있음을 시사한다.