[논문 리뷰] LTL2Action: Generalizing LTL Instructions for Multi-Task RL

Pashootan Vaezipoor, Andrew Li외 2명|arXiv (Cornell University)|2021. 02. 13.

Reinforcement Learning in Robotics참고 문헌 55인용 수 10

한 줄 요약

이 논문은 LTL 프로그레션과 환경에 종속되지 않는 사전 훈련을 활용하여, 새로운 LTL로 지정된 작업에 일반화할 수 있도록 하는 딥 강화학습 프레임워크인 LTL2Action을 제안한다. 이는 이산적이고 연속적인 환경에서 조합적으로 큰 작업 공간에서 비모호한 정책을 학습함으로써, 이른바 '단기적' 방법들보다 우수한 성능을 보인다.

ABSTRACT

We address the problem of teaching a deep reinforcement learning (RL) agent to follow instructions in multi-task environments. Instructions are expressed in a well-known formal language -- linear temporal logic (LTL) -- and can specify a diversity of complex, temporally extended behaviours, including conditionals and alternative realizations. Our proposed learning approach exploits the compositional syntax and the semantics of LTL, enabling our RL agent to learn task-conditioned policies that generalize to new instructions, not observed during training. To reduce the overhead of learning LTL semantics, we introduce an environment-agnostic LTL pretraining scheme which improves sample-efficiency in downstream environments. Experiments on discrete and continuous domains target combinatorial task sets of up to $\sim10^{39}$ unique tasks and demonstrate the strength of our approach in learning to solve (unseen) tasks, given LTL instructions.

연구 동기 및 목표

• 다중 작업 환경에서 새로운 LTL로 지정된 작업에 일반화할 수 있도록 딥 강화학습 에이전트를 가능하게 하기.
• 작업을 독립적인 하위 작업으로 분해하는 단기적 접근 방식의 한계를 극복하여 전체 성능이 최적화되지 않는 문제를 해결하기.
• 환경에 종속되지 않는 LTL 사전 훈련 기법을 도입함으로써 샘플 효율성과 일반화 능력을 향상시키기.
• LTL의 조합적 구문과 의미를 활용하여 스케일링 가능한 자동 훈련 데이터 생성을 가능하게 하기.
• 복잡한 시간적 및 논리적 제약 조건을 준수하는 정책을 학습하는 동안 최적성 보장을 유지하기.

제안 방법

• 메서드는 LTL 프로그레션—의미를 유지하는 리라이팅 연산—을 사용하여 실행 중에 LTL 지시문의 아직 이행되지 않은 부분을 동적으로 추적한다.
• LSTM, GRU 또는 그래프 신경망(GNN)과 같은 신경망 아키텍처를 사용해 LTL 공식을 인코딩함으로써 정책 기울기와 함께 엔드 투 엔드 훈련이 가능하다.
• 환경에 종속되지 않는 LTL 사전 훈련 기법을 도입하여, 후속 환경에 영향을 받지 않고 LTL 의미를 사전에 학습함으로써 후속 샘플 효율성을 향상시킨다.
• 이벤트 검출기들을 사용해 관측치에서 도메인 특화된 명제 기호(예: have-coffee)를 인식함으로써 LTL 공식의 지문화를 가능하게 한다.
• 정책은 관측치와 인코딩된 LTL 지시문을 조건으로 하여 누적 할인 수익을 최대화하도록 딥 강화학습으로 훈련된다.
• 예비 실험에서 보여지듯이, 명제 기호에 대해 일대일 핫 인코딩이 아닌 비일대일 핫 인코딩 특징 표현을 사용함으로써, 새로운 명제에 대한 일반화를 지원한다.

실험 결과

연구 질문

• RQ1 강화학습 에이전트는 추가 미세조정 없이도 새로운 LTL로 지정된 작업에 일반화할 수 있는가?
• RQ2 LTL 프로그레션을 사용하면 단기적 분해 방식에 비해 더 나은 일반화와 최적성 보장을 달성할 수 있는가?
• RQ3 환경에 종속되지 않는 LTL 사전 훈련이 후속 강화학습 작업에서 샘플 효율성을 얼마나 향상시키는가?
• RQ4 LSTM, GRU, GNN 등 다양한 신경망 인코더는 LTL 조건 정책 학습에서 어떻게 비교되는가?
• RQ5 비일대일 핫 인코딩 외의 특징 표현 방식을 사용할 경우, 프레임워크는 새로운 명제에 일반화할 수 있는가?

주요 결과

• LTL2Action 프레임워크는 작업을 독립적인 하위 작업으로 분해하는 단기적 접근 방식에 비해 뛰어난 일반화 성능을 달성한다.
• 신경망 인코더 중에서 GNN은 복잡한 작업 공간에서 새로운 LTL 지시문에 대한 일반화 성능에서 LSTM과 GRU를 능가한다.
• 환경에 종속되지 않는 LTL 사전 훈련 기법은 후속 강화학습 훈련에서 샘플 효율성을 크게 향상시키며, 높은 성능에 도달하기 위한 상호작용 횟수를 감소시킨다.
• 예비 실험에서 보여지듯이, 명제 기호에 비일대일 핫 인코딩 특징 표현을 사용할 경우, 새로운 명제를 포함한 작업에 성공적으로 일반화된다.
• 이산적이고 연속적인 도메인에서의 실험 결과, 약 10^39개의 고유한 작업으로 구성된 조합적으로 큰 작업 집합에서도 안정적인 성능을 보였다.
• LTL 프로그레션의 사용은 LTL 공식의 전체 시간적 구조를 준수하는 비단기적 정책 학습을 가능하게 하며, 최적성 보장을 유지한다.