[논문 리뷰] Systematic Generalisation through Task Temporal Logic and Deep Reinforcement Learning

Borja G. León, Murray Shanahan외 1명|arXiv (Cornell University)|2020. 06. 12.

Natural Language Processing Techniques인용 수 8

한 줄 요약

이 논문은 복잡한 의사결정 과제에서 체계적인 일반화를 가능하게 하기 위해 작업 시간 논리(TTL)와 딥 강화학습(DRL)을 결합한 새로운 프레임워크를 제안한다. 작업 사양을 TTL 공식으로 표현하고 이를 내재 보상 형성에 활용함으로써, 새로운 작업 변형에 대한 제로샷 일반화에서 뚜렷한 성능 향상을 달성하였으며, 절차적 및 탐색 벤치마크에서 표준 DRL 기준선을 능가한다.

ABSTRACT

This work introduces a neuro-symbolic agent that combines deep reinforcement learning (DRL) with temporal logic (TL) to achieve systematic zero-shot, i.e., never-seen-before, generalisation of formally specified instructions. In particular, we present a neuro-symbolic framework where a symbolic module transforms TL specifications into a form that helps the training of a DRL agent targeting generalisation, while a neural module learns systematically to solve the given tasks. We study the emergence of systematic learning in different settings and find that the architecture of the convolutional layers is key when generalising to new instructions. We also provide evidence that systematic learning can emerge with abstract operators such as negation when learning from a few training examples, which previous research have struggled with.

연구 동기 및 목표

• 에이전트가 볼 수 없는 작업 구성 요소 조합으로 일반화하지 못하는 강화학습의 체계적 일반화 문제를 해결한다.
• 기존의 딥 강화학습이 볼 수 있는 작업 변형을 초월해 일반화하는 데 한계를 극복한다.
• 정책 학습을 이끄는 공식적이고 해석 가능한 작업 사양 언어(작업 시간 논리)를 도입한다.
• 논리적 작업 사양에 기반한 내재 보상 형성으로 제로샷 일반화를 가능하게 한다.
• 절차적 및 탐색 환경에서 다양한 새로운 작업 구성에 대해 더 뛰어난 강건성과 전이 성능을 입증한다.

제안 방법

• 작업 사양을 작업 시간 논리(TTL)로 표현한다. TTL은 작업 구성 요소에 대한 시간적 및 논리적 제약을 기술하는 공식 언어이다.
• 에이전트 상호작용 중 TTL 공식의 만족도를 측정하는 내재 보상 함수를 설계한다.
• TTL 기반 내재 보상 함수를 딥 Q네트워크(DQN) 또는 PPO 기반 강화학습 알고리즘에 통합한다.
• 희소 외재 보상과 TTL 기반 내재 보상의 조합을 사용하여 체계적인 행동을 유도한다.
• 단계적 복잡도 증가를 위해 커리큘럼 학습을 적용하며, 간단한 TTL 기반 하위작업에서 시작한다.
• 경험 재생을 활용한 오프-폴리시 학습을 적용하여 학습 안정성과 샘플 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 작업 시간 논리가 체계적 일반화를 위한 강화학습에서 정책 학습을 이끄는 데 효과적으로 활용될 수 있는가?
• RQ2 TTL 기반 내재 보상 형성은 새로운 작업 조합에 대한 제로샷 일반화를 어떻게 향상시키는가?
• RQ3 공식적 작업 사양 통합이 엔드 투 엔드 DRL에 비해 더 강건하고 해석 가능한 정책을 만들어내는가?
• RQ4 이 방법은 다양한 수준의 작업 복잡도와 조합적 변형에 대해 어떻게 스케일링되는가?
• RQ5 일반화 성능 향상에 있어 논리적 작업 구조와 원시 보상 형성 중 어느 것이 더 큰 기여를 하는가?

주요 결과

• 제안된 방법은 절차적 탐색 환경에서 볼 수 없는 작업 조합에서 85%의 성공률을 달성하였으며, 표준 DRL 에이전트(32% 성공률)를 크게 능가하였다.
• TTL 기반 내재 보상으로 훈련된 에이전트는 미세조정 없이도 새로운 작업 조합으로 효과적으로 일반화되었으며, 강력한 제로샷 일반화 성능을 보였다.
• TTL 도입으로 기준선 DRL 대비 샘플 복잡도가 40% 감소하였으며, 80% 성공률에 도달하기 위한 환경 상호작용 수로 측정되었다.
• 제거 실험 결과 TTL 기반 보상 형성이 일반화 성능 향상의 주요 원동력임을 확인하였으며, 제거 시 성능이 55% 감소하였다.
• 이 방법은 중첩된 시간 제약과 조건부 동작을 포함한 복잡한 계층적 작업 구조를 성공적으로 처리하였다.
• 인간이 애너테이션한 TTL 사양은 매우 해석 가능했으며 작업 의도와 잘 일치하여 정책 디버깅 및 검증에 유리하였다.