[논문 리뷰] Unsupervised Real-Time Control through Variational Empowerment

Maximilian Karl, Maximilian Soelch외 4명|arXiv (Cornell University)|2017. 10. 13.

Reinforcement Learning in Robotics인용 수 11

한 줄 요약

이 논문은 연속적인 동역학 시스템에서 에너지의 하한을 효율적으로 계산하기 위해 변분 추론 방법을 제안하며, 이는 실시간, 비지도 정책 학습을 가능하게 한다. 딥 변분 베이즈 필터를 활용해 엔드 투 엔드로 동역학을 학습함으로써, 에이전트가 미래 상태에 미치는 영향을 최대화하는 정책을 학습하게 되어, 시뮬레이션 환경에서 균형 잡힌 행동과 운동 분포와 같은 강건한 목표 없음 행동을 유도한다.

ABSTRACT

We introduce a methodology for efficiently computing a lower bound to empowerment, allowing it to be used as an unsupervised cost function for policy learning in real-time control. Empowerment, being the channel capacity between actions and states, maximises the influence of an agent on its near future. It has been shown to be a good model of biological behaviour in the absence of an extrinsic goal. But empowerment is also prohibitively hard to compute, especially in nonlinear continuous spaces. We introduce an efficient, amortised method for learning empowerment-maximising policies. We demonstrate that our algorithm can reliably handle continuous dynamical systems using system dynamics learned from raw data. The resulting policies consistently drive the agents into states where they can use their full potential.

연구 동기 및 목표

• 표준 방법으로는 계산이 비용이 많이 들기 때문에 고차원적, 연속적, 비선형 동역학 시스템에서 에너지를 계산하는 데 도전하는 것.
• 변분 추론을 사용해 에너지의 하한을 추정하는 암시적이고 미분 가능한 방법을 개발하여 실시간 정책 최적화를 가능하게 하는 것.
• 보상 함수나 외부 감독 없이도 원시 데이터에서 에너지 기반 정책이 유도되어 직관적이고 목표 없는 행동이 발생하는지 보여주는 것.
• 학습된 시스템 모델을 사용하여 펜듈럼의 스윙업, 다중 볼 역학, 이족 보행 균형과 같은 복잡한 제어 과제에서 방법을 검증하는 것.

제안 방법

• 방법은 행동과 후계 상태 사이의 상호정보량을 최대화하는 방식으로 에너지를 정의하며, 연속 시스템에서 계산 가능하도록 변분 하한을 사용한다.
• 원시 관측치에서 환경의 동역학을 비선형적이고 미분 가능한 모델로 학습하기 위해 딥 변분 베이즈 필터(DVBF)를 사용한다.
• 재설계 기반 경사 하강법을 사용해 변분 하한을 최대화하는 스토하스틱 정책 네트워크를 훈련시킨다.
• 상태 간에 파rameter를 공유함으로써 추론을 암시적으로 처리하여, 운영 시에 일정 시간 내에 정책 평가를 빠르게 수행할 수 있도록 한다.
• 시간 간격을 n단계로 확장하여 하나의 단계에서의 에너지를 누적함으로써 안정성과 장기적 영향력을 향상시킨다.
• 프레임워크는 엔드 투 엔드로 미분 가능하므로 원시 감각 데이터에서 동역학과 에너지 최대화 정책을 함께 학습할 수 있다.

실험 결과

연구 질문

• RQ1 고차원적, 연속적인 동역학 시스템에서 변분 하한을 효율적으로 계산하고 최적화할 수 있는가?
• RQ2 에너지가 복잡한 제어 과제에서 의미 있는 목표 없는 행동을 유도하는 자기지도 목표로 기능할 수 있는가?
• RQ3 데이터에서 학습된 동역학이 비마르코프 시스템에 일반화되는가?
• RQ4 n단계 에너지가 단일 단계 에너지보다 안정적이고 높은 영향력을 갖는 정책을 어떻게 형성하는가?
• RQ5 외부 보상 신호 없이도 로봇 구현에 적합한 실시간 성능을 달성할 수 있는가?

주요 결과

• 이 방법은 보상 함수 없이도 에이전트가 높은 에너지 상태(예: 펜듈럼과 이족 보행자에서의 수직 균형)로 이동시키는 정책을 성공적으로 학습시켰다.
• 다중 볼 환경에서는 에너지 기반 정책이 자연스럽게 볼들을 상자 안에서 분포시키며 뭉치는 것을 방지하고 제어 가능성을 극대화했다.
• 이족 보행자에 대한 학습된 정책은 원래의 환경가 보상 조정을 통해 같은 작업을 수행하기 위해 사용되었지만, 안정적인 균형 행동을 달성했다.
• 5단계 에너지 설정은 균형 상태로 향해 매끄럽고 단조롭게 증가하는 에너지 경로를 만들어내었으며, 단일 단계 에너지 경로와 매우 유사하게 나타났다.
• 일정 시간 내 정책 평가를 통해 실시간 추론을 달성하여 온라인 제어 응용에 적합했다.
• 실험 결과는 변분 하한이 진정된 에너지에 대해 강력한 대체 지표임을 보여주었으며, 복잡하고 비선형적인 시스템에서 효과적인 정책 최적화를 가능하게 했다.