[논문 리뷰] Hierarchical Decision Making by Generating and Following Natural Language Instructions

Hengyuan Hu, Denis Yarats외 3명|arXiv (Cornell University)|2019. 01. 01.

Topic Modeling인용 수 20

한 줄 요약

이 논문은 실시간 전략 게임에서 복잡하고 장기적인 동작을 조율하기 위해 자연어를 잠재 계획으로 사용하는 계층적 의사결정 프레임워크를 제안한다. 인간과 유사한 지시를 생성하고 따르는 방식으로, 직접적인 행동 클로닝보다 우수한 성능을 보이며, 언어의 조합적 구조가 다중 에이전트 시스템의 더 효과적이고 일반화 가능한 제어를 가능하게 한다는 것을 입증한다.

ABSTRACT

We explore using latent natural language instructions as an expressive and compositional representation of complex actions for hierarchical decision making. Rather than directly selecting micro-actions, our agent first generates a latent plan in natural language, which is then executed by a separate model. We introduce a challenging real-time strategy game environment in which the actions of a large number of units must be coordinated across long time scales. We gather a dataset of 76 thousand pairs of instructions and executions from human play, and train instructor and executor models. Experiments show that models using natural language as a latent variable significantly outperform models that directly imitate human actions. The compositional structure of language proves crucial to its effectiveness for action representation. We also release our code, models and data.

연구 동기 및 목표

• 복잡한 장기적 환경에서 다중 에이전트 시스템의 계층적 의사결정을 가능하게 하기 위해 복잡한 동작을 자연어 지시로 표현하는 것을 목적으로 한다.
• 직접적인 행동 시퀀스보다 자연어가 정책 학습을 위한 더 표현력 있고 조합적인 표현 방식이 될 수 있는지 조사하는 것.
• 강사 모델이 지시를 생성하고 실행자 모델이 이를 수행하는 두 단계 프레임워크를 개발하고 평가하여 일반화 능력과 샘플 효율성을 향상시키는 것.
• 학습 및 평가를 위해 사용할 수 있는 76,000개의 인간이 생성한 지시-실행 쌍으로 구성된 대규모 데이터셋을 수집하고 공개하는 것.

제안 방법

• 프레임워크는 두 단계 아키텍처를 사용한다: 강사 모델이 자연어 지시를 생성하고, 별도의 실행자 모델이 이를 해석하고 실행한다.
• 강사 모델은 다단계 목표를 묘사하는 고수준의 조합적 지시를 생성하도록 훈련된다.
• 실행자 모델은 지시를 실행 가능한 행동으로 매핑하도록 훈련되며, 언어적 구조를 이해하는 데 학습한다.
• 이 방법은 장기간에 걸쳐 많은 유닛을 조율해야 하는 맞춤형 실시간 전략 게임 환경에서 평가된다.
• 강사 및 실행자 훈련을 위한 지도 학습을 위해 76,000개의 인간 플레이 지시-실행 쌍으로 구성된 데이터셋을 수집하였다.
• 언어의 조합적 특성을 활용하여 예상치 못한 작업 구조로의 일반화 및 제로샷 전이 성능 향상을 달성한다.

실험 결과

연구 질문

• RQ1 자연어는 복잡하고 장기적인 환경에서 계층적 의사결정을 위한 효과적이고 조합적인 잠재 표현으로 기능할 수 있는가?
• RQ2 자연어 지시를 생성하고 따르는 방식이 다중 에이전트 협업 과제에서 인간 행동을 직접 모방하는 것보다 더 우수한 성능을 내는가?
• RQ3 언어의 조합적 구조는 정책 학습에서 일반화 능력과 샘플 효율성에 어떻게 기여하는가?
• RQ4 별도의 실행자 모델이 훈련 중에 볼 수 없었던 새로운 지시에 얼마나 잘 일반화되는가?

주요 결과

• 자연어를 잠재 변수로 사용하는 모델은 다중 에이전트 협업 과제에서 직접 행동 클로닝 기반 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 언어의 조합적 구조 덕분에 예상치 못한 작업 조합과 더 긴 시간 스케일의 계획에 대한 일반화 능력이 향상되었다.
• 강사-실행자 프레임워크는 샘플 효율성을 향상시키고 새로운 지시 유형에 대한 제로샷 전이를 가능하게 하였다.
• 76,000개의 인간 애너테이션 지시-실행 쌍으로 구성된 데이터셋은 두 단계 시스템의 효과적 훈련 및 평가를 가능하게 하였다.
• 실행자 모델은 의미적 및 문법적 구조를 활용하여 새로운 지시에 일반화되며, 분포 이질성에 대한 강건성을 보였다.
• 엔드 투 엔드 행동 모방 방식보다 장기적인 실시간 전략 게임 플레이에서 뛰어난 성능을 달성하였다.