[논문 리뷰] Counterfactual Control for Free from Generative Models

Nicholas Guttenberg, Yen Yu외 1명|arXiv (Cornell University)|2017. 02. 22.

Reinforcement Learning in Robotics참고 문헌 1인용 수 3

한 줄 요약

이 논문은 행동-상태 궤적의 생성 모델에서 실시간으로 제어 정책을 유도하는 방법을 제안한다. 생성 모델의 잠재 공간에서 경사 하강법을 사용하여 재학습 없이도 어떤 보상 함수를 최적화할 수 있다. 핵심 기여는 하나의 사전 훈련된 생성 모델을 통해 동적 목표 적응과 반사적 계획 수립을 가능하게 한 것이다. 이는 직접적으로 해당 작업에 대해 훈련하지 않고도 CartPole에서 움직이는 목표를 안정적으로 유지하고 추적하는 데 성공적으로 구현되었다.

ABSTRACT

We introduce a method by which a generative model learning the joint distribution between actions and future states can be used to automatically infer a control scheme for any desired reward function, which may be altered on the fly without retraining the model. In this method, the problem of action selection is reduced to one of gradient descent on the latent space of the generative model, with the model itself providing the means of evaluating outcomes and finding the gradient, much like how the reward network in Deep Q-Networks (DQN) provides gradient information for the action generator. Unlike DQN or Actor-Critic, which are conditional models for a specific reward, using a generative model of the full joint distribution permits the reward to be changed on the fly. In addition, the generated futures can be inspected to gain insight in to what the network 'thinks' will happen, and to what went wrong when the outcomes deviate from prediction.

연구 동기 및 목표

• 보상 사양과 정책 학습을 분리하는 제어 프레임워크를 개발하여 동적 목표 적응을 가능하게 한다.
• 행동-상태 궤적의 생성 모델이 상상한 반사적 미래 기반으로 에이전트가 계획하고 행동을 선택할 수 있도록 한다.
• 단일 생성 모델이 재학습 없이도 여러 개의 새로운 작업에 대해 제어를 지원할 수 있음을 입증한다.
• 행동와 미래 상태를 함께 생성 모델링하는 것이 태스크 특화 모델보다 더 강건하고 일반화 능력이 뛰어난 제어를 가능하게 하는지 탐색한다.

제안 방법

• 방법은 상호작용 데이터로부터 $p(future, action | state)$의 공동 분포를 학습하기 위해 순환 변동 자동차오더(RVAE)를 사용한다.
• 제어 정책은 생성 모델의 잠재 공간에서 경사 하강법을 사용해 최적화하여 생성된 반사적 미래에서 원하는 보상 함수를 최대화함으로써 도출된다.
• 보상 함수는 직접 생성된 미래 궤적에서 평가되며, 기울기가 생성 모델을 통해 역전파되어 행동 시퀀스를 업데이트한다.
• 이 방법은 행동-상태 시퀀스가 내부적으로 일관되고 현실적인지를 보장하기 위해 전체 공동 분포를 활용한다.
• 모델은 환경 상호작용에 대해 한 번만 훈련되고, 이후에는 잠재 공간 탐색을 통해 어떤 보상 함수에도 대응할 수 있다.
• 이 방법은 별도의 보상 네트워크나 정책 헤드를 훈련하지 않으며, 기울기 추정을 위해 생성 모델의 내부 역학에 의존한다.

실험 결과

연구 질문

• RQ1 훈련 중에 볼 수 없었던 보상 함수에 대해 재학습 없이도 단일 행동-상태 궤적 생성 모델을 사용해 제어 정책을 도출할 수 있는가?
• RQ2 훈련 중에 볼 수 없었던 새로운 작업, 예를 들어 움직이는 목표를 추적하는 것과 같은 작업에 일반화할 수 있는가?
• RQ3 특히 잠재 공간 차원에 대해 이 방법이 얼마나 민감한가?
• RQ4 내부적으로 일관된 반사적 미래를 생성하여 효과적인 계획과 제어를 지원할 수 있는가?

주요 결과

• 모델은 125 에피소드 동안 원점에서 지팡이를 안정적으로 유지하여 반사적 계획을 통한 안정적인 제어를 성공적으로 구현했다.
• 훈련 후 에이전트는 $x(t) = A\sin(2\pi t/T)$ 형태의 시간에 따라 변하는 목표 위치를 여러 진동 주기 동안 추적할 수 있었으며, 이는 훈련 목표에 포함되지 않았다.
• 움직이는 목표가 있는 시험에서 에이전트는 최대 5000단계 동안 균형을 유지했으며, 다양한 진폭과 주기에서 평균 유지 시간이 하나의 진동 주기 이상을 초과했다.
• 매우 짧은 주기(T < 250)에서는 에이전트가 목표를 추적하지 못해 성능이 저하되었으며, 이는 시간적 추적 속도에 대한 한계를 시사한다.
• 잠재 공간 차원 $N_L$이 가장 중요한 초모수였으며, 너무 큰 공간은 비현실적인 미래 예측을 악용하여 균형을 유지하지 못하게 했다.
• 평균적으로 100 에피소드 이내에 작업 성공을 달성했으며, 가장 빠른 해결책은 약 35 에피소드 만에 도출되었으며, 최신의 DQN 및 DQN 기반 에이전트와 유사한 성능을 보였다.