[논문 리뷰] Encoding formulas as deep networks: Reinforcement learning for zero-shot execution of LTL formulas

Yen‐Ling Kuo, Boris Katz외 1명|arXiv (Cornell University)|2020. 06. 01.

Machine Learning and Algorithms참고 문헌 18인용 수 5

한 줄 요약

이 논문은 선형 시간 논리(LTL) 공식을 한 번도 본 적 없더라도 제로샷 방식으로 인코딩하고 실행할 수 있는 조합적 순환 신경망을 사용하는 강화학습 에이전트를 제안한다. LTL 문법에 따라 네트워크를 구조화하고 종단 간 훈련을 수행함으로써, 심볼 및 마인크래프트 유사 환경에서 다양한, 새로운 공식들에 대해 높은 정확도로 일반화된다. 분포 외 공식에 대해 심볼 도메인에서 97%, 크래프트 도메인에서 73%의 정확도를 달 đạt한다.

ABSTRACT

We demonstrate a reinforcement learning agent which uses a compositional recurrent neural network that takes as input an LTL formula and determines satisfying actions. The input LTL formulas have never been seen before, yet the network performs zero-shot generalization to satisfy them. This is a novel form of multi-task learning for RL agents where agents learn from one diverse set of tasks and generalize to a new set of diverse tasks. The formulation of the network enables this capacity to generalize. We demonstrate this ability in two domains. In a symbolic domain, the agent finds a sequence of letters that is accepted. In a Minecraft-like environment, the agent finds a sequence of actions that conform to the formula. While prior work could learn to execute one formula reliably given examples of that formula, we demonstrate how to encode all formulas reliably. This could form the basis of new multitask agents that discover sub-tasks and execute them without any additional training, as well as the agents which follow more complex linguistic commands. The structures required for this generalization are specific to LTL formulas, which opens up an interesting theoretical question: what structures are required in neural networks for zero-shot generalization to different logics?

연구 동기 및 목표

• 강화학습 에이전트가 사전 노출 없이도 어떤 새로운 LTL 공식이라도 실행할 수 있도록 하여 제로샷 일반화를 달성한다.
• 구조화된 신경망 아키텍처를 통해 상징적 추론(LTL)을 데이터 기반의 인식 및 제어와 통합한다.
• 단일 에이전트가 광범위하고 다양한 LTL 공식들을 위한 정책을 조합하는 다중 작업 학습 프레임워크를 개발한다.
• 공동 훈련된 특징 추출기와 LTL 컨트롤러를 갖춘 종단 간 훈련의 타당성과 성능을 조사한다.
• 논리 체계(예: LTL)에 걸쳐 제로샷 일반화를 위한 신경망 아키텍처의 이론적 한계를 탐색한다.

제안 방법

• 각 LTL 연산자와 술어는 학습 가능한 순환 상태를 가진 하위 네트워크로 표현되는 구조적이고 조합적인 순환 신경망을 사용한다.
• LTL 공식의 문법 트리에 따라 하위 네트워크를 계층적으로 연결하며, 부모와 자식 간 상태 전파를 선형 레이어를 통해 수행한다.
• 환경 관측치를 관련 특징으로 매핑하기 위해 특징 추출 네트워크를 LTL 컨트롤러와 함께 종단 간 훈련한다.
• 루트 노드의 은닉 상태는 행동에 대한 확률 분포로 디코딩되어 강화학습을 통한 정책 학습을 가능하게 한다.
• 다양하고 해결하기 어려운 LTL 공식 생성 메커니즘을 통해 훈련이 시간적 및 공간적 제약의 넓은 분포를 커버하도록 보장한다.
• 모델은 수천 개의 공식으로 훈련되고, 새로운, 알려지지 않은 공식으로 테스트되어 제로샷 일반화 성능을 평가한다.

실험 결과

연구 질문

• RQ1 단일 신경망 아키텍처가 사전 튜닝 없이도 어떤 새로운 LTL 공식이라도 미세조정 없이 실행할 수 있는가?
• RQ2 시간 논리 실행에서 제로샷 일반화를 위해 필수적인 아키텍처 구성 요소는 무엇인가?
• RQ3 훈련 공식의 수가 분포 외 LTL 공식에 대한 제로샷 성능에 어떻게 영향을 미치는가?
• RQ4 공동 훈련된 인식 및 제어 기반의 조합적 네트워크를 종단 간 훈련하면 다양한 환경에서 신뢰할 수 있는 실행 성능를 달성할 수 있는가?
• RQ5 LTL과 같은 논리적 구조를 넘어 일반화하기 위해 신경망에 필요한 최소한의 인덕티브 바이어스는 무엇인가?

주요 결과

• 모델은 심볼 도메인에서 새로운 LTL 공식에 대해 97%의 정확도를 달달하며, 크래프트 도메인에선 73%의 정확도를 기록하여 강력한 제로샷 일반화를 입증한다.
• 10,000개의 훈련 공식으로 훈련된 모델는 심볼 도메인에서 분포 외 공식에 대해 90%의 정확도를 기록하며, 1,000개 공식일 땐 65%에서 개선된다.
• 새로운 공식에 대한 성능는 훈련 데이터량에 따라 로그 함수적으로 향상되며, 로그적 적합에 대해 R² = 0.99를 기록하여 약 24,000개의 공식에서 거의 100%의 정확도를 예측한다.
• 아블레이션 연구 결과 조합적 구조를 제거할 경우 성능가 약 66%로 감소함을 확인하여, 일반화를 위해 필수적임을 입증한다.
• 모델은 공식과 환경 양쪽 다 훈련 시에 본 적 없더라도 더 긴 공식과 새로운 지도에 대해 효과적으로 일반화된다.
• 모든 아키텍처 구성 요소가 성능 향상에 기여하며, 기준 모델에 비해 유의미하게 뛰어난 성능을 발휘한다.