[논문 리뷰] A Boolean Task Algebra for Reinforcement Learning

Geraud Nangue Tasse, Steven James외 1명|arXiv (Cornell University)|2020. 01. 06.

Reinforcement Learning in Robotics참고 문헌 20인용 수 12

한 줄 요약

이 논문은 복소수 작업 대수를 제안하여 강화학습에서 논리적 연산(합집합, 교집합, 부정)을 사용해 작업을 제로샷 조합할 수 있도록 한다. 기본 작업에 대해 확장된 목표 지향 가치 함수를 학습함으로써 에이전트는 추가 학습 없이도 어떤 논리적으로 조합된 작업도 최적의 방식으로 해결할 수 있으며, 추가 샘플 없이 초초기적 작업 확장을 달성한다.

ABSTRACT

The ability to compose learned skills to solve new tasks is an important property of lifelong-learning agents. In this work, we formalise the logical composition of tasks as a Boolean algebra. This allows us to formulate new tasks in terms of the negation, disjunction and conjunction of a set of base tasks. We then show that by learning goal-oriented value functions and restricting the transition dynamics of the tasks, an agent can solve these new tasks with no further learning. We prove that by composing these value functions in specific ways, we immediately recover the optimal policies for all tasks expressible under the Boolean algebra. We verify our approach in two domains---including a high-dimensional video game environment requiring function approximation---where an agent first learns a set of base skills, and then composes them to solve a super-exponential number of new tasks.

연구 동기 및 목표

• 수명 주기 동안 강화학습 에이전트가 추가 학습 없이 학습한 스킬을 새로운 복잡한 작업으로 조합할 수 있도록 하는 것.
• 이전 연구가 합집합과 교집합에 국한되어 있던 바탕을 초월해 불리안 대수를 사용해 작업 조합을 형식화하는 것.
• 다중 목표를 인코딩하는 확장된 가치 함수를 사용해 작업의 제로샷 조합 방법을 개발하는 것.
• 기능 근사가 필요한 저차원(네 방) 및 고차원(비디오 게임) 환경에서의 성능을 검증하는 것.
• 모든 불리안 조합 작업에 대해 최적 정책을 기본 가치 함수에서 직접 유도할 수 있음을 보여주는 것.

제안 방법

• 작업를 불리안 대수의 원소로 형식화하고, 집합 이론적 의미론을 사용해 작업 간 논리 연산(OR, AND, NOT)을 정의한다.
• 다중 목표를 동시에 인코딩하는 확장된 가치 함수를 도입하여 논리적 조합을 가능하게 한다.
• 불리안 작업 대수와 가치 함수 대수 사이에 호모모르피즘의 존재를 증명함으로써 조합 정확성을 보장한다.
• 합성된 가치 함수가 추가 학습 없이도 새로운 작업에 대해 최적 정책을 도출할 수 있도록 전이 동역학을 제한한다.
• 고차원 환경에서 기능 근사를 사용해 메서드를 실제 강화학습 설정에 스케일링한다.
• 네 방 및 비디오 게임 환경에서의 실험을 통해 평균 수익을 측정함으로써 성능을 검증한다.

실험 결과

연구 질문

• RQ1 논리적 연산(OR, AND, NOT)을 사용한 작업 조합이 최적성을 유지하는 방식으로 형식화될 수 있는가?
• RQ2 기본 작업에 대한 불리안 표현식으로 표현할 수 있는 어떤 작업이라도 추가 학습 없이도 에이전트가 해결할 수 있는가?
• RQ3 확장된 가치 함수의 사용이 최적 정책의 정확한 제로샷 조합을 가능하게 하는가?
• RQ4 기능 근사가 필요한 고차원 환경에서 이 메서드는 얼마나 잘 스케일링되는가?
• RQ5 희박한 보상과 복잡한 상태 공간을 가진 복잡한 실제 환경에 이 프레임워크를 적용할 수 있는가?

주요 결과

• 제안된 불리안 작업 대수를 통해 기본 작업에 대한 불리안 표현식으로 표현할 수 있는 어떤 작업이라도 제로샷 조합이 가능하다.
• 확장된 가치 함수를 조합함으로써 에이전트는 추가 학습 없이도 모든 조합된 작업에 대해 최적 정책을 달 đạt한다.
• 네 방 환경에서, 에이전트는 기본 스킬을 학습한 후 OR, AND, XOR을 포함한 모든 불리안 조합 작업을 최적의 수익으로 해결했다.
• 고차원 비디오 게임 환경에서, 에이전트는 기본 스킬(파란 물체 수거, 사각형 수거)을 조합해 즉시 새로운 작업을 해결했으며, 기능 근사가 적용된 상황에서도 성공했다.
• 이 메서드는 초초기적 작업 능력 확장을 달성했다—기본 작업이 하나 더 추가될수록 가능한 조합 작업의 수가 두 배로 증가한다.
• 이 프레임워크는 기반 가치 함수 학습 알고리즘에 의존하지 않아 현대 딥 강화학습 방법과 호환된다.