[논문 리뷰] Action-Sufficient State Representation Learning for Control with Structural Constraints

Biwei Huang, Chaochao Lu외 5명|arXiv (Cornell University)|2021. 10. 12.

Reinforcement Learning in Robotics참고 문헌 51인용 수 5

한 줄 요약

이 논문은 부분적으로 관찰 가능한 환경에서 최적의 정책 학습에 필요한 정보만 포괄하는 최소화되고 구조적으로 제약된 상태 표현인 행동-충분 상태 표현(ASRs)을 제안한다. 환경의 생성 과정을 모델링하고 보상 최적화에서 유도된 구조적 제약을 활용함으로써, 저차원적이고 해석 가능한 ASRs를 학습하는 구조적 순차 변분 오토인코더(SS-VAE)를 개발하였으며, 이는 CarRacing 및 VizDoom 벤치마크에서 샘플 효율성과 모델 효율성을 향상시킨다.

ABSTRACT

Perceived signals in real-world scenarios are usually high-dimensional and noisy, and finding and using their representation that contains essential and sufficient information required by downstream decision-making tasks will help improve computational efficiency and generalization ability in the tasks. In this paper, we focus on partially observable environments and propose to learn a minimal set of state representations that capture sufficient information for decision-making, termed extit{Action-Sufficient state Representations} (ASRs). We build a generative environment model for the structural relationships among variables in the system and present a principled way to characterize ASRs based on structural constraints and the goal of maximizing cumulative reward in policy learning. We then develop a structured sequential Variational Auto-Encoder to estimate the environment model and extract ASRs. Our empirical results on CarRacing and VizDoom demonstrate a clear advantage of learning and using ASRs for policy learning. Moreover, the estimated environment model and ASRs allow learning behaviors from imagined outcomes in the compact latent space to improve sample efficiency.

연구 동기 및 목표

• 고차원적이고 노이즈가 많은 관찰로 인한 강화학습의 비효율성과 해석 불가능성 문제를 해결하기 위해.
• 부분적으로 관찰 가능한 환경에서 최적의 정책 학습에 필수적이고 충분한 최소한의 상태 표현 집합을 규명하기 위해.
• 보상 최적화 목표에서 유도된 구조적 제약을 사용하여 행동-충분 상태 표현(ASRs)의 개념을 수리적으로 정의하기 위해.
• 신뢰할 수 있는 ASR 추출을 가능하게 하면서도 해석 가능성과 후속 정책 성능를 유지하는 구조적 생성 모델 및 추론 방법을 개발하기 위해.

제안 방법

• POMDP 프레임워크 내에서 관찰, 상태, 행동, 보상, 동역학 간의 관계를 명시적으로 코딩한 생성 환경 모델을 수립하기 위해.
• 생성 모델의 구조적 제약을 통해 보상과 직접적 또는 간접적으로 인과관계가 있는 최소한의 상태 변수 집합으로 ASRs를 특성화하기 위해.
• 관찰, 상태, 행동, 보상의 결합 분포를 모델링하면서도 학습 가능한 인접 행렬을 통한 구조적 희박성 제약을 부여하는 구조적 순차 변분 오토인코더(SS-VAE)를 개발하기 위해.
• 변분 추론 프레임워크를 사용하여 환경 모델과 ASR 추출을 동시에 최적화하고, 상호정보량 최소화를 통한 저차원적이고 최소화된 표현을 촉진하는 정규화 항을 도입하기 위해.
• 학습된 ASRs를 후속 정책 학습에 통합하여 실제 환경에서의 위험한 탐색을 줄이고 샘플 효율적인 모방 학습과 계획을 가능하게 하기 위해.
• 학습 안정성과 표현 품질 향상을 위해 가중치 정규화 및 아키텍처 제약(예: MDN 헤드, LSTM 인코더)을 적용하기 위해.

실험 결과

연구 질문

• RQ1 부분적으로 관찰 가능한 환경에서 최적의 의사결정을 위해 필수적이면서도 충분한 상태 변수는 무엇인가?
• RQ2 환경의 생성 과정에서 유도된 구조적 제약을 어떻게 활용하여 최소이면서도 충분한 상태 표현을 식별할 수 있는가?
• RQ3 구조적 변분 오토인코더가 고차원적 관찰에서 신뢰성 있게 행동-충분 상태 표현(ASRs)을 학습하고 추출할 수 있는가?
• RQ4 ASRs는 모델 기반 강화학습에서 샘플 효율성과 모델 성능을 어느 정도 향상시키는가?
• RQ5 ASR의 낮은 차원 잠재 공간에서 상상된 롤아웃을 기반으로 행동 정책를 효과적으로 학습할 수 있는가?

주요 결과

• 21차원의 ASR 표현은 VizDoom의 '숨기기' 태스크에서 원시 관찰과 표준 상태 표현보다 뛰어난 성능을 기록하였다.
• 추정된 구조적 행렬은 희박한 연결성을 보였다: 보상에 영향을 주는 상태 차원의 소수의 부분집합 뿐이며, 행동에 영향을 받는 요소 역시 소수에 그쳤다. 이는 학습된 ASRs의 최소성과 충분성을 확인한다.
• ASRs를 사용한 정책 학습은 샘플 효율성을 크게 향상시켰으며, 실제 환경에서 위험한 탐색의 필요성을 줄였다.
• 학습된 환경 모델은 잠재 공간 내 상상된 결과로부터 효과적인 행동 학습을 가능하게 하여, 압축된 표현을 사용한 모델 기반 계획의 타당성을 입증하였다.
• SS-VAE 프레임워크는 관련된 상태 동역학을 효과적으로 분리하고, 작업의 기초 구조와 일치하는 해석 가능한 저차원 표현을 추출하였다.
• CarRacing 및 VizDoom에서의 실험 결과는 ASR 기반 정책가 원시 관찰 기반 정책보다 더 잘 일반화되었고, 상호작용 횟수를 줄였음을 확인하였다.