[논문 리뷰] GALOIS: Boosting Deep Reinforcement Learning via Generalizable Logic Synthesis

Yushi Cao, Zhiming Li외 6명|arXiv (Cornell University)|2022. 05. 27.

Formal Methods in Verification인용 수 8

한 줄 요약

GALOIS는 스케치 기반의 하이브리드 도메인 특화 언어(DSL)를 사용하여 딥 강화 학습(DRL)에서 해석 가능하고 계층적이며 인과적으로 구조화된 논리 프로그램을 합성하는 새로운 프레임워크를 제안한다. 지시어와 선언어 패러다임을 융합함으로써 GALOIS는 일반화 가능하고 인과관계를 고려한 정책을 가능하게 하여 DRL 성능, 일반화 능력 및 지식 재사용성에 있어 크게 향상시킨다.

ABSTRACT

Despite achieving superior performance in human-level control problems, unlike humans, deep reinforcement learning (DRL) lacks high-order intelligence (e.g., logic deduction and reuse), thus it behaves ineffectively than humans regarding learning and generalization in complex problems. Previous works attempt to directly synthesize a white-box logic program as the DRL policy, manifesting logic-driven behaviors. However, most synthesis methods are built on imperative or declarative programming, and each has a distinct limitation, respectively. The former ignores the cause-effect logic during synthesis, resulting in low generalizability across tasks. The latter is strictly proof-based, thus failing to synthesize programs with complex hierarchical logic. In this paper, we combine the above two paradigms together and propose a novel Generalizable Logic Synthesis (GALOIS) framework to synthesize hierarchical and strict cause-effect logic programs. GALOIS leverages the program sketch and defines a new sketch-based hybrid program language for guiding the synthesis. Based on that, GALOIS proposes a sketch-based program synthesis method to automatically generate white-box programs with generalizable and interpretable cause-effect logic. Extensive evaluations on various decision-making tasks with complex logic demonstrate the superiority of GALOIS over mainstream baselines regarding the asymptotic performance, generalizability, and great knowledge reusability across different environments.

연구 동기 및 목표

• 딥 강화 학습(DRL)에서 고차원 지능—특히 논리 추론과 재사용 능력—의 부족으로 인해 일반화와 해석 가능성에 제한이 존재하는 문제를 해결한다.
• 기존 프로그램 합성 방법의 한계를 극복한다: 지시어 프로그래밍의 인과적 추론 부족과 선언어 프로그래밍의 계층적 논리 처리 불가능성.
• 자동으로 계층적이고 인과관계 기반의 논리 프로그램을 합성하는 통합 프레임워크를 개발하여 DRL 정책의 높은 일반화 능력과 해석 가능성 확보.
• 공유된 논리적 구조를 가진 환경 간에 지식을 효율적으로 이관하고 재사용함으로써 새로운 과제에서의 샘플 복잡도를 감소시킨다.
• 기호적 추론과 연결망 학습을 융합하여 학습 가능하고 설명 가능한 화이트박스 정책을 생성한다.

제안 방법

• 계층적 논리와 엄격한 인과관계를 지원하는 새로운 스케치 기반 하이브리드 도메인 특화 언어(DSL)를 도입하여 구조화된 프로그램 합성을 가능하게 한다.
• 프로그램 스케치를 부분 프로그램으로서 정의하며, 미정의 조각(홀)을 포함하고 도메인 지식에 따라 유도함으로써 검색 공간을 축소하고 합성 효율성을 향상시킨다.
• 차별 가능한 인도크티브 논리 프로그래밍(ILP)을 확장하여 스케치 기반 합성을 지원함으로써 기울기 기반 최적화를 통한 논리 프로그램의 엔드 투 엔드 학습을 가능하게 한다.
• 하나의 스케치에 인코딩된 인과적 의존성에 따라 독립적으로 합성된 서브프로그램들이 조율되는 계층적 프로그램 합성 파이프라인을 구성한다.
• 이중 단계 학습 과정을 사용한다: 첫 번째 단계에서는 스케치의 각 홀에 대해 서브프로그램을 학습하고, 두 번째 단계에서는 환경 피드백을 이용해 전체 프로그램을 미세 조정한다.
• 유사한 과제에서 사전 학습된 서브프로그램(예: toggle_box, open_door)을 재사용함으로써 지식 이관을 가능하게 하여 새로운 환경에서의 학습 속도를 크게 향상시킨다.

실험 결과

연구 질문

• RQ1 하이브리드 프로그램 합성 프레임워크는 지시어와 선언어 프로그래밍의 장점을 효과적으로 융합하여 DRL에서 해석 가능하고 계층적이며 인과적으로 구조화된 정책을 생성할 수 있는가?
• RQ2 유사한 기초 논리 구조를 가진 과제들 간에 합성된 논리 프로그램이 얼마나 잘 일반화되는가?
• RQ3 엔드 투 엔드 DRL이나 표준 프로그램 합성 대비 스케치 기반 접근법이 샘플 효율성과 학습 속도에 얼마나 기여하는가?
• RQ4 서브프로그램 지식은 다양한 환경 간에 효과적으로 재사용 가능한가? 그리고 이는 학습 효율성을 얼마나 향상시키는가?
• RQ5 정책 합성에 인과 논리를 통합할 경우, 더 해석 가능하고 인간이 이해할 수 있는 의사결정 과정이 도출되는가?

주요 결과

• GALOIS는 여러 복잡한 의사결정 과제에서 주요 DRL 베이스라인 및 프로그램 합성 기반 방법보다 점 渐진 성능에서 뛰어난 성능을 보였다.
• 특히 논리적 변형이 있는 과제(예: BoxKey 대비 DoorKey)에서 제로샷 일반화 능력이 크게 향상되었으며, 이는 인과 논리 재사용 덕분에 더 빠르게 적응하기 때문이다.
• 지식 재사용 능력이 크게 향상되었다: 유사 과제(예: DoorKey)에서 사전 학습된 전체 또는 서브프로그램을 웜스타트함으로써 학습 시간과 샘플 복잡도가 감소했다.
• '위치' 기능(예: ??_WHERE)에 대한 서브프로그램만 재사용해도 학습 효율성이 뚜렷이 향상되었으며, 이는 GALOIS의 계층적 설계가 모듈화되고 재사용 가능하다는 것을 입증한다.
• 합성된 화이트박스 정책은 해석 가능하며 인간이 참여하는 조정이 가능하여 새로운 후행 과제에 대한 효율적 적응이 가능하다.
• 스케치 기반 합성 방법은 엄격한 인과관계 논리와 함께 효과적인 계층적 프로그램 생성을 가능하게 하여 지시어 중심 접근법에서 발생하는 애너지 및 비인과적 행동을 피할 수 있었다.