[논문 리뷰] Robust Predictable Control

Benjamin Eysenbach, Ruslan Salakhutdinov외 1명|arXiv (Cornell University)|2021. 09. 07.

Advanced Control Systems Optimization참고 문헌 36인용 수 12

한 줄 요약

이 논문은 예측 모델링과 비트-백 코드를 활용하여 정보 사용을 최소화하고, 잠재 세계 모델과 정책을 동시에 최적화하는 강화학습 방법인 내성 예측 제어(Robust Predictable Control, RPC)를 제안한다. RPC는 동일한 비트레이트에서 표준 정보 버블블러스트 방법보다 최대 5배 높은 리턴을 달성하며, 모델이 정확한 상태를 선호하고 행동이 예측 가능해지는 방식으로 보다 강건하고 일반화 능력이 뛰어나며 자기 일관성이 높은 정책을 학습한다.

ABSTRACT

Many of the challenges facing today's reinforcement learning (RL) algorithms, such as robustness, generalization, transfer, and computational efficiency are closely related to compression. Prior work has convincingly argued why minimizing information is useful in the supervised learning setting, but standard RL algorithms lack an explicit mechanism for compression. The RL setting is unique because (1) its sequential nature allows an agent to use past information to avoid looking at future observations and (2) the agent can optimize its behavior to prefer states where decision making requires few bits. We take advantage of these properties to propose a method (RPC) for learning simple policies. This method brings together ideas from information bottlenecks, model-based RL, and bits-back coding into a simple and theoretically-justified algorithm. Our method jointly optimizes a latent-space model and policy to be self-consistent, such that the policy avoids states where the model is inaccurate. We demonstrate that our method achieves much tighter compression than prior methods, achieving up to 5x higher reward than a standard information bottleneck. We also demonstrate that our method learns policies that are more robust and generalize better to new tasks.

연구 동기 및 목표

• 표준 강화학습 알고리즘에서 압축 메커니즘이 명시적으로 구현되어 있지 않아 강건성, 일반화 능력 및 이식성에 제한이 있다는 문제를 해결하기 위해.
• 결정의 순차적 성격을 활용하여 에이전트가 과거 정보를 활용해 향후 감지 필요성을 줄일 수 있도록 하기 위해.
• 에이전트가 역학이 예측 및 압축이 쉬운 상태로 행동을 조정할 수 있도록 하기 위해.
• 정보 버블블러스트, 모델 기반 강화학습, 비트-백 코드를 통합하는 이론적으로 탄탄한 방법을 개발하여 정책의 단순성과 일관성을 향상시키기 위해.
• 압축된 정책이 표준 강화학습 및 정보 버블블러스트 기준선보다 더 뛰어난 강건성과 일반화 능력을 보임을 입증하기 위해.

제안 방법

• RPC는 비트-백 코드를 활용한 변분 추론 프레임워크를 사용하여 관찰과 행동 간의 상관관계를 최소화하는 방식으로, 잠재공간 세계 모델과 제어 정책을 공동으로 훈련한다.
• 정책은 세계 모델이 정확한 상태를 선호하도록 최적화되어 있어 자기 일관성 있는 행동과 향상된 예측 계획 수립이 가능하다.
• 변분 사후분포를 사용하여 잠재 변수에 대한 사후분포를 근사함으로써 스토하스틱 경사 하강법을 통한 엔드 투 엔드 훈련을 가능하게 한다.
• 관찰의 시퀀스에 대해 정보 버블블러스트 원리를 적용하여 개별 관찰이 아닌 시간적 예측 가능성을 포착한다.
• 목적 함수에는 세계 모델의 재구성 항과 정책의 정보 사용 압축을 강제하는 KL 발산 항이 포함되어 있다.
• 정책은 상태-행동 관계를 표현하는 데 사용되는 비트 수를 최소화하면서 리턴을 최대화하도록 훈련되며, 예측 가능하고 단순한 행동을 선호한다.

실험 결과

연구 질문

• RQ1 세계 모델과 정책의 공동 최적화가 강화학습에서 더 나은 압축과 강건성을 이끌어낼 수 있는가?
• RQ2 예측 모델링과 비트-백 코드를 통한 정보 사용 최소화가 다양한 작업과 환경에서 더 나은 일반화 능력을 가진 정책을 만들어낼 수 있는가?
• RQ3 에이전트가 예측 및 압축이 쉬운 상태로 행동을 조정함으로써 이득을 볼 수 있는가?
• RQ4 관측 침해나 악성 공격에 대한 강건성 측면에서, 압축 기반 정책 학습은 표준 정보 버블블러스트 및 모델 기반 강화학습보다 어떻게 비교되는가?
• RQ5 정보 사용 감소가 강화학습에서 계층적이고 조합 가능한 행동을 얼마나 잘 이끌어내는가?

주요 결과

• RPC는 동일한 비트레이트에서 표준 정보 버블블러스트 방법보다 최대 5배 높은 리턴을 달성하여 더 뛰어난 압축 효율성을 입증하였다.
• RPC 정책는 관측 손실에 대해 상당히 강건하여, 관측의 최대 50%가 손실된 경우에도 높은 성능을 유지하며, 이러한 환경에서 기준선을 능가했다.
• RPC로 학습된 압축 정책는 관측 및 역학에 대한 악성 공격에 더 강건하며, 상태당 3비트 미만을 사용하는 정책는 강한 외부 흐름 조건에서도 우아한 자세 유지가 가능했고, 더 높은 비트 수를 사용하는 정책는 실패했다.
• RPC 정책는 증가된 로봇 질량이나 감소된 마찰계수 등의 변형된 역학 환경으로의 일반화 능력이 뛰어나며, 저비트 정책가 더 뛰어난 성능을 보였다.
• 압축을 통한 학습을 통해 계층적 강화학습에 적합한 표현을 학습하였으며, 이는 압축 조건 하에서 학습된 행동의 조합 가능성으로 입증되었다.
• 비트 레이트는 성능와 강건성 간의 제어 가능한 트레이드오���이며, 낮은 비트 레이트는 훈련 리턴 감소를 감수하면서 더 강건한 정책을 얻는 데 기여한다.