[논문 리뷰] Interpretable Policy Specification and Synthesis through Natural Language and RL

Pradyumna Tambwekar, Andrew Silva외 2명|arXiv (Cornell University)|2021. 01. 18.

Explainable Artificial Intelligence (XAI)참고 문헌 34인용 수 4

한 줄 요약

이 논문은 인간이 자연어로 로봇 행동을 지정할 수 있도록 하는 새로운 프레임워크를 제안한다. 이 자연어는 해석 가능한 결정트리로 번역되며, 강화학습의 웜스타트를 위해 사용된다. 이 방법은 자연어를 결정트리로 매핑하는 데 96–97%의 정확도를 달성하며, 언어 기반 정책 초기화를 통해 기준 모델들보다 유의미하게 뛰어나다 (p < 0.001).

ABSTRACT

Policy specification is a process by which a human can initialize a robot's behaviour and, in turn, warm-start policy optimization via Reinforcement Learning (RL). While policy specification/design is inherently a collaborative process, modern methods based on Learning from Demonstration or Deep RL lack the model interpretability and accessibility to be classified as such. Current state-of-the-art methods for policy specification rely on black-box models, which are an insufficient means of collaboration for non-expert users: These models provide no means of inspecting policies learnt by the agent and are not focused on creating a usable modality for teaching robot behaviour. In this paper, we propose a novel machine learning framework that enables humans to 1) specify, through natural language, interpretable policies in the form of easy-to-understand decision trees, 2) leverage these policies to warm-start reinforcement learning and 3) outperform baselines that lack our natural language initialization mechanism. We train our approach by collecting a first-of-its-kind corpus mapping free-form natural language policy descriptions to decision tree-based policies. We show that our novel framework translates natural language to decision trees with a 96% and 97% accuracy on a held-out corpus across two domains, respectively. Finally, we validate that policies initialized with natural language commands are able to significantly outperform relevant baselines (p < 0.001) that do not benefit from our natural language-based warm-start technique.

연구 동기 및 목표

• 로봇 분야에서 현재의 정책 지정 방법에 대한 해석 가능성과 접근성의 부족을 해결하기 위해.
• 비전문가 사용자가 자연어를 통해 공동으로 로봇 행동을 정의할 수 있도록 하기 위해.
• 자연어 기술을 기반으로 해석 가능한 결정트리 정책으로 변환하는 기계학습 프레임워크를 개발하기 위해.
• 언어로 지정된 정책를 웜스타트로 사용하여 강화학습 성능을 향상시키기 위해.
• 자유형 자연어에서 결정트리 기반 정책로의 매핑을 제공하는 최초의 종합적 코퍼스를 구축하기 위해.

제안 방법

• 이 프레임워크는 두 개의 도메인에서 자연어 기술과 해당되는 결정트리 정책을 쌍으로 수집하는 새로운 코퍼스를 확보한다.
• 자유형 자연어를 구조화된 결정트리로 매핑하기 위해 신경망 시퀀스-투-트리 모델을 훈련한다.
• 학습된 정책 표현을 사용해 딥 강화학습 에이전트를 초기화하고 웜스타트한다.
• 언어와 정책 구조 간의 정렬을 향상시키기 위해 어텐션 메커니즘을 활용한 분류적 시퀀스-투-트리 아키텍처를 사용한다.
• 정책을 결정트리 형식으로 제약함으로써 해석 가능성을 확보하여 인간이 읽고 수정할 수 있도록 한다.
• 평가를 위해 언어에서 정책으로의 제로샷 전이를 수행한 후, 하류 작업에서 강화학습으로 최적화한다.

실험 결과

연구 질문

• RQ1 로봇 제어 작업에서 자연어 기술이 해석 가능한 결정트리 정책으로 정확하게 매핑될 수 있는가?
• RQ2 언어 기반 정책 초기화는 강화학습 에이전트의 샘플 효율성과 최종 성능에 어떤 영향을 미치는가?
• RQ3 해석 가능성과 성능 측면에서 블랙박스 정책 지정 기준 모델들에 비해 제안된 프레임워크가 얼마나 향상되는가?
• RQ4 비전문가 사용자가 최소한의 감독으로 자연어를 사용해 효과적으로 로봇 행동을 지정할 수 있는가?
• RQ5 학습된 언어-정책 매핑은 다양한 로봇 도메인 간에서 얼마나 일반화 가능한가?

주요 결과

• 이 프레임워크는 두 개의 서로 다른 도메인에서 보존된 테스트 세트에서 자연어를 결정트리로 매핑하는 데 각각 96%와 97%의 정확도를 달성한다.
• 자연어 명령어를 기반으로 한 정책 초기화가 언어 기반 웜스타트 없이 사용된 기준 방법들보다 유의미하게 뛰어나다 (p < 0.001).
• 해석 가능한 결정트리 정책의 사용은 인간 사용자가 정책를 검토하고 이해하고 수정할 수 있도록 하여 협업을 향상시킨다.
• 언어-정책 쌍의 코퍼스를 통해 높은 정밀도로 새로운 작업으로의 제로샷 전이가 가능해진다.
• 자연어가 로봇 분야에서 정책 지정을 위한 효과적이고 접근 가능한 매체로 기능할 수 있음을 입증한다.