[논문 리뷰] Discrete Factorial Representations as an Abstraction for Goal Conditioned Reinforcement Learning

Riashat Islam, Hongyu Zang외 7명|arXiv (Cornell University)|2022. 11. 01.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 목표 조건부 강화 학습에서 목표의 이산적이고 인수분해 가능한 표현을 학습하기 위해 벡터 양자화를 사용하는 이산 목표 표현 학습(DGRL)을 제안한다. 연속적인 목표 임베딩에 이산화하는 병목 구조를 도입함으로써 DGRL은 분포 외 목표로의 일반화를 향상시키고 계층적 계획 수립을 가능하게 하여 미로 탐색 및 로봇 조작 작업에서 최신 기준 성능을 달성하며, 샘플 효율성과 강인성 향상도 보여준다.

ABSTRACT

Goal-conditioned reinforcement learning (RL) is a promising direction for training agents that are capable of solving multiple tasks and reach a diverse set of objectives. How to extit{specify} and extit{ground} these goals in such a way that we can both reliably reach goals during training as well as generalize to new goals during evaluation remains an open area of research. Defining goals in the space of noisy and high-dimensional sensory inputs poses a challenge for training goal-conditioned agents, or even for generalization to novel goals. We propose to address this by learning factorial representations of goals and processing the resulting representation via a discretization bottleneck, for coarser goal specification, through an approach we call DGRL. We show that applying a discretizing bottleneck can improve performance in goal-conditioned RL setups, by experimentally evaluating this method on tasks ranging from maze environments to complex robotic navigation and manipulation. Additionally, we prove a theorem lower-bounding the expected return on out-of-distribution goals, while still allowing for specifying goals with expressive combinatorial structure.

연구 동기 및 목표

• 목표 조건부 강화 학습을 위한 고차원이고 노이즈가 많은 관측 공간에서 목표의 기초를 다지는 것과 목표를 명시하는 문제를 해결하기 위해.
• 목표의 구조적이고 이산적인 표현을 학습하여 분포 외 목표로의 일반화를 향상시키기 위해.
• 고수준 정책가 사용할 수 있는 의미적으로 유의미한 이산적 보조 목표를 제공함으로써 계층적 강화 학습을 가능하게 하기 위해.
• 이산화 병목 구조가 다양한 목표 조건부 RL 환경에서 성능과 일반화를 향상시킨다는 것을 입증하기 위해.

제안 방법

• 이 방법은 연속적인 목표 임베딩을 학습 가능한 코드북의 이산 토큰으로 변환하기 위해 벡터 양자화(VQ) 모듈을 사용한다.
• 목표 표현에 VQ 기반의 이산화 병목을 적용하여 연속적인 시각적 또는 상태 기반 목표를 이산적이고 인수분해 가능한 코드로 변환한다.
• 이산 목표 코드는 계층적 강화 학습 설정에서 보조 목표로 사용되며, 고수준 정책이 이산적 보조 목표를 선택하고 저수준 정책이 이를 향해 행동을 실행한다.
• 이 방법은 RIS와 같은 목표 조건부 강화 학습 알고리즘에 통합되며, 재구성 및 기여 손실을 통해 이산화 모듈을 훈련시킨다.
• 학습된 이산 코드에서 새로운 목표 조합을 조합적으로 생성할 수 있도록 하여 복합 일반화를 지원한다.
• 표준 강화 학습 목표와 벡터 양자화 손실을 조합하여 엔드 투 엔드로 훈련되며, 이로 인해 분리된 이산 표현을 유도한다.

실험 결과

연구 질문

• RQ1 이산적이고 인수분해 가능한 목표 표현은 목표 조건부 RL에서 분포 외 목표로의 일반화를 향상시킬 수 있는가?
• RQ2 이산화 병목을 적용할 경우 복잡한 탐색 및 조작 작업에서 샘플 효율성과 성능에 어떤 영향을 미치는가?
• RQ3 이산 목표 코드가 계층적 강화 학습에서 효과적인 보조 목표로 얼마나 잘 기능하는가?
• RQ4 인수분해 표현을 사용할 경우 새로운 목표 조합에 대해 더 나은 제로샷 일반화가 가능할까?
• RQ5 다양한 목표 분포에서 DGRL은 기준 방법 대비 강인성과 일반화 측면에서 어떻게 비교되는가?

주요 결과

• DGRL은 미로 환경과 로봇 조작 작업을 포함한 다양한 목표 조건부 RL 벤치마크에서 최신 기준 성능을 달성한다.
• 분포 외 목표로의 일반화에 있어 뚜렷한 향상을 보이며, 훈련 중에 볼 수 없었던 목표 조합에 대해 테스트할 때도 성능 향상이 관찰된다.
• 이산적이고 인수분해 가능한 표현의 사용은 더 샘플 효율적인 학습을 이끌어내어 높은 성공률에 도달하기 위한 상호작용 횟수를 줄였다.
• 이론적 분석을 통해 이산화 병목이 분포 외 목표에 대해 기대 수익의 하한을 제공함을 보여주어 일반화를 뒷받침한다.
• 실험 결과는 벡터 양자화를 통해 학습된 이산 코드가 의미적으로 유의미하고 조합적으로 작동함을 확인하였으며, 효과적인 계층적 계획 수립을 가능하게 한다.
• 이 방법은 픽셀 기반 관측과 복잡한 로봇 시뮬레이터를 포함한 다양한 환경에서도 높은 성능를 유지하여 강인성과 확장성을 입증한다.