[논문 리뷰] The Logical Options Framework

Brandon Araki, Xiao Li외 4명|arXiv (Cornell University)|2021. 02. 24.

Reinforcement Learning in Robotics참고 문헌 36인용 수 5

한 줄 요약

논리적 옵션 프레임워크(Logical Options Framework, LOF)는 유한 상태 오토마타(Finite State Automata, FSA)로 표현된 논리적 작업 사양과 저수준 MDP를 통합하여 만족성, 최적성, 조합 가능성을 동시에 확보하는 계층적 강화학습 접근법이다. 하위목표에 대한 옵션과 FSA 기반 메타정책을 학습함으로써 LOF는 10~50번의 재학습 단계만으로도 새로운 작업에 대해 효율적으로 재구성할 수 있으며, 이는 이산적 및 연속적 도메인 전반에서 높은 성능을 달성한다. 이는 3D 피킹-플레이스 환경을 포함한 다양한 환경에서 입증되었다.

ABSTRACT

Learning composable policies for environments with complex rules and tasks is a challenging problem. We introduce a hierarchical reinforcement learning framework called the Logical Options Framework (LOF) that learns policies that are satisfying, optimal, and composable. LOF efficiently learns policies that satisfy tasks by representing the task as an automaton and integrating it into learning and planning. We provide and prove conditions under which LOF will learn satisfying, optimal policies. And lastly, we show how LOF's learned policies can be composed to satisfy unseen tasks with only 10-50 retraining steps. We evaluate LOF on four tasks in discrete and continuous domains, including a 3D pick-and-place environment.

연구 동기 및 목표

• 복잡한 규칙 기반 환경에서 만족성, 최적성, 조합 가능성을 동시에 확보하는 정책을 학습하는 데 도전하는 것.
• 기존 계층적 강화학습 방법들이 이 세 가지 성질 중 적어도 하나를 포기하는 한계를 극복하는 것.
• 유한 상태 오토마타(FSA) 기반의 고수준 계획을 통해 학습된 옵션을 재사용함으로써 새로운 작업에 대한 일반화를 가능하게 하는 것.
• LOF가 만족성과 최적성을 보장하는 조건을 공식적으로 정의하는 것.
• 다양한 도메인과 계획 알고리즘(이산적 값 반복에서 연속적 PPO에 이르기까지)과의 호환성을 입증하는 것.

제안 방법

• LOF는 논리적 FSA와 저수준 MDP의 곱셈으로 구성된 계층적 준마르코프 결정 과정(Semi-Markov Decision Process, SMDP)을 정의한다.
• 작업 사양은 하위목표, 안전성 조건, 이벤트를 포함한 FSA로 표현되며, 이전 상태 전이가 고수준 옵션에 해당한다.
• LOF는 값 반복 기반 알고리즘(LOF-VI)을 사용하여 각 하위목표에 대한 개별 옵션을 학습하며, 하위목표 달성에 대한 조밀한 보상 구조를 도입하여 학습 효율성을 향상시킨다.
• 메타정책은 FSA의 현재 상태를 기반으로 옵션을 선택함으로써 다양한 작업 간의 조합 가능성을 달성한다.
• 프레임워크는 FSA에 논리적 작업 제약 조건을 통합함으로써 만족성을 보장하며, 특정 조건 하에서는 최적성도 보장한다.
• 새로운 작업을 위한 재학습은 저수준에서의 재학습이 아닌 고수준 FSA에서의 재계획만으로 이루어지므로, 10~50회의 단계 내로 빠른 적응이 가능하다.

실험 결과

연구 질문

• RQ1 계층적 강화학습 프레임워크는 규칙 기반 환경에서 동시에 만족성, 최적성, 조합 가능성을 확보하는 정책을 학습할 수 있는가?
• RQ2 어떻게 논리적 작업 사양을 계층적 강화학습 프레임워크에 공식적으로 통합하여 정책의 만족성을 보장할 수 있는가?
• RQ3 학습된 정책가 만족성과 제약 조건을 충족하기 위해 어떤 조건이 필요한가?
• RQ4 학습된 옵션을 얼마나 효율적으로 재사용하고 재조합하여 최소한의 재학습으로 새로운 작업을 해결할 수 있는가?
• RQ5 밀도 높은 중간 보상 없이도 기준선 방법에 비해 프레임워크의 효율성은 어느 정도 우월한가?

주요 결과

• LOF는 작업 규칙을 논리 공식으로 표현하고 이를 유한 상태 오토마타(FSA)로 변환함으로써 만족성을 확보한다. 이는 정책이 지정된 제약 조건을 반드시 준수하도록 보장한다.
• LOF는 계층적 최적성을 보장하며, 특정 조건 하에서는 전체 최적성도 보장한다. 이는 논문에서 수학적으로 증명되어 있다.
• LOF는 조합 가능성을 보장한다. 학습된 옵션은 10~50회의 재학습 단계만으로도 새로운 작업을 충족시키기 위해 재조합 가능하며, 추가적인 환경 상호작용 없이도 가능하다.
• 실험 결과, LOF는 하위목표 달성에 대한 조밀한 보상 함수 덕분에 보상 기반 기반선(Reward Machine, RM)보다 뛰어난 성능을 보였다. 이는 학습 효율성을 향상시켰다.
• LOF는 이산적 및 연속적 도메인에서 네 가지 작업에 대해 강력한 성능을 보였으며, 3D 피킹-플레이스 환경을 포함하여 다양한 계획 알고리즘과 도메인과의 호환성을 입증했다.
• 안전성 성질은 LOF의 정의 하에 조합 가능하지 않다. 왜냐하면 안전성 조건이 다수의 상태와 연관될 수 있고, 고수준과 저수준에서 동시에 재학습이 필요하기 때문이며, 이는 조합 가능성 제약을 위반하기 때문이다.