[논문 리뷰] Learning Plannable Representations with Causal InfoGAN

Thanard Kurutach, Aviv Tamar외 3명|arXiv (Cornell University)|2018. 07. 24.

Multimodal Machine Learning Applications참고 문헌 33인용 수 91

한 줄 요약

Causal InfoGAN은 고차원 관측으로부터 저차원이고 계획 가능한 표현을 학습하고, 관측을 추상 상태로 매핑하고 그 잠재 공간에서 계획함으로써 목표 지향적 시각 계획을 가능하게 한다. 그런 다음 계획을 관측 시퀀스로 다시 디코딩한다.

ABSTRACT

In recent years, deep generative models have been shown to 'imagine' convincing high-dimensional observations such as images, audio, and even video, learning directly from raw data. In this work, we ask how to imagine goal-directed visual plans -- a plausible sequence of observations that transition a dynamical system from its current configuration to a desired goal state, which can later be used as a reference trajectory for control. We focus on systems with high-dimensional observations, such as images, and propose an approach that naturally combines representation learning and planning. Our framework learns a generative model of sequential observations, where the generative process is induced by a transition in a low-dimensional planning model, and an additional noise. By maximizing the mutual information between the generated observations and the transition in the planning model, we obtain a low-dimensional representation that best explains the causal nature of the data. We structure the planning model to be compatible with efficient planning algorithms, and we propose several such models based on either discrete or continuous states. Finally, to generate a visual plan, we project the current and goal observations onto their respective states in the planning model, plan a trajectory, and then use the generative model to transform the trajectory to a sequence of observations. We demonstrate our method on imagining plausible visual plans of rope manipulation.

연구 동기 및 목표

• 고차원 관측으로부터 목표 지향적 시각 계획을 상상하는 방법을 동기부여하고 다루기.
• 데이터의 인과 구조를 포착하는 저차원, 계획 친화적 표현을 학습한다.
• 시작에서 목표로의 전환 시퀀스를 생성하기 위해 표현 학습과 계획 수립을 통합한다.

제안 방법

• 관측치를 구조화된 잠재 계획 시스템과 노이즈 구성요소로 요인화하는 인과 InfoGAN을 학습한다.
• 상관 정보 목적함수를 사용하여 추상 상태 s, s'가 데이터의 인과적 전이를 설명하도록 한다.
• 디스크리트(원-핫 또는 이진) 및 연속 잠재 계획 시스템을 호환 가능한 계획 알고리즘과 함께 지원한다.
• 관측치를 Q(s|o) 또는 잠재 공간 최적화를 통해 잠재 상태로 인코딩하여 고차원 관측을 처리한다.
• 잠재 상태 궤적을 조건부 GAN 생성기로 사용해 관측 시퀀스로 디코딩하고, 판별기나 새로움 탐지기를 사용해 최적의 궤적을 선택한다.
• 잠재 전이와 생성된 관측 간의 상호 정보(I_VLB) 근사화로 변분 하한을 최적화한다.

실험 결과

연구 질문

• RQ1 고차원 데이터에 대해 표현력이 풍부하고 효율적 계획에 맞춘 구조를 동시에 갖춘 표현을 어떻게 학습할 수 있을까?
• RQ2 계획 중심 잠재 공간을 가진 GAN 기반 모델이 시작 관측에서 목표 관측으로의 타당한 워크스루를 생성할 수 있을까?
• RQ3 표준 계획 알고리즘과 호환되도록 디스크리트 또는 연속으로 설계된 잠재 계획 시스템은 어떻게 구성될 수 있을까?
• RQ4 고차원 도메인에서 실제 관측을 잠재 상태로 인코딩하는 전략은 무엇일까?
• RQ5 로프 조작과 같은 작업에서 학습된 표현과 생성된 워크스루의 효과는 얼마나 높을까?

주요 결과

• Causal InfoGAN은 인과 전압과 일치하는 추상 상태를 학습하고 잠재 공간에서 계획을 지원할 수 있다.
• 이 프레임워크는 Dijkstra 및 선형 보간과 같은 계획 알고리즘과 호환되는 디스크리트 및 연속 잠재 계획 시스템을 지원한다.
• 실제 이미지 데이터를 사용한 로프 조작 시나리오에서 시작-목표 간의 타당한 시각적 워크스루를 생성할 수 있다.
• 고차원 관측을 위한 인코딩 전략(탐색 기반 잠재 매핑 또는 학습된 Q)이 생성 데이터에 대해 훈련된 단순한 판별자보다 상태 매핑을 향상시킨다.
• 변분 하한은 상호 정보 목적을 훈련시키는 데 도움을 주어 모델의 엔드-투-엔드 최적화를 가능하게 한다.