[논문 리뷰] Hallucinative Topological Memory for Zero-Shot Visual Planning

Kara Liu, Thanard Kurutach외 3명|arXiv (Cornell University)|2020. 02. 27.

Multimodal Machine Learning Applications참고 문헌 27인용 수 14

한 줄 요약

이 논문은 환경적 맥락에 조건화된 환영된 이미지의 그래프를 사용하여 이미지 공간에서 직접 계획을 수행하는 제로샷 시각 계획 방법인 환영적 위상 메모리(HTM)를 제안한다. 대비 예측 코드를 통한 안정적인 연결성 학습과 조건부 VAE를 통한 도메인 일반화를 조합함으로써, 특히 기하학적 추론이 필요한 복잡한 미사용 환경에서 기존 최고 수준의 방법들보다 뛰어난 성공률과 해석 가능한 계획을 달성한다.

ABSTRACT

In visual planning (VP), an agent learns to plan goal-directed behavior from observations of a dynamical system obtained offline, e.g., images obtained from self-supervised robot interaction. Most previous works on VP approached the problem by planning in a learned latent space, resulting in low-quality visual plans, and difficult training algorithms. Here, instead, we propose a simple VP method that plans directly in image space and displays competitive performance. We build on the semi-parametric topological memory (SPTM) method: image samples are treated as nodes in a graph, the graph connectivity is learned from image sequence data, and planning can be performed using conventional graph search methods. We propose two modifications on SPTM. First, we train an energy-based graph connectivity function using contrastive predictive coding that admits stable training. Second, to allow zero-shot planning in new domains, we learn a conditional VAE model that generates images given a context of the domain, and use these hallucinated samples for building the connectivity graph and planning. We show that this simple approach significantly outperform the state-of-the-art VP methods, in terms of both plan interpretability and success rate when using the plan to guide a trajectory-following controller. Interestingly, our method can pick up non-trivial visual properties of objects, such as their geometry, and account for it in the plans.

연구 동기 및 목표

• 실제 데이터 수집이 불가능한 동적 환경에서 제로샷 시각 계획의 과제를 해결하기 위해.
• 학습된 잠재 공간이 아닌 이미지 공간에서 직접 계획을 수행하여 계획의 해석 가능성과 강건성을 향상시키기 위해.
• 맥락 벡터에 조건화하고 관련된 이미지 상태를 환영함으로써 새로운 환경으로의 일반화를 가능하게 하기 위해.
• 히우리스틱 분류기 대신 대비 학습을 도입하여 위상 메모리 방법의 훈련 불안정성을 극복하기 위해.
• 시각 계획에서 기하학적 추론이 명시적 지도 없이 데이터로부터 자동으로 유도될 수 있음을 입증하기 위해.

제안 방법

• HTM는 이미지 샘플을 노드로, 타당한 전이를 나타내는 간선을 포함하는 위상 메모리 그래프를 구축하며, 이는 대비 예측 코드 기반 에너지 기반 모델을 통해 학습된다.
• 조건부 VAE는 장애물 레이아웃과 같은 맥락 벡터에 조건화되어 새로운 환경의 환영된 이미지 샘플을 생성하도록 훈련되며, 이는 제로샷 환영을 가능하게 한다.
• 그래프 연결성은 표준 이진 분류기보다 훈련 안정성과 계획 품질을 향상시키기 위해 대비 손실을 사용해 훈련된 에너지 함수를 통해 학습된다.
• 계획은 역 근접도 점수를 간선 가중치로 사용하는 최단경로 추론 문제로 수행되며, 초모수 조정이 최소화된다.
• 기존의 오프라인 데이터와 재생을 활용하여, 새로운 구성에서의 재수집 없이도 실제 이미지에서 계획을 수행할 수 있다.
• 전통적인 그래프 탐색과 딥 생성 모델링을 융합하여 장거리, 해석 가능한 시각 계획을 지원한다.

실험 결과

연구 질문

• RQ1 이미지 공간에서의 시각 계획이 잠재 공간 계획보다 계획 품질과 성공률 측면에서 뛰어나게 되는가?
• RQ2 환영된 데이터를 사용하여 재수집 없이도 위상 메모리 시스템이 새로운 환경으로 일반화할 수 있는가?
• RQ3 대비 학습은 표준 분류기 대비 위상 메모리 연결성 학습의 안정성과 성능을 향상시키는가?
• RQ4 물체의 기하적 특성(예: 형태, 방향)이 명시적 지도 없이도 시각 계획에서 암묵적으로 학습되고 활용될 수 있는가?
• RQ5 간단하고 해석 가능한 계획 방법이 제로샷 시각 계획 과제에서 최고 수준의 성능을 달성할 수 있는가?

주요 결과

• 블록 벽 도메인에서 HTM은 쉬운 과제에서 100% 성공률, 어려운 과제에서 70% 성공률를 기록했으며, Visual Foresight는 각각 60%와 10%를 기록해 이를 능가했다.
• 블록 삽입 도메인에서 HTM은 쉬운 과제에서 100% 성공률, 어려운 과제에서 70% 성공률를 기록했고, Visual Foresight는 대부분의 어려운 과제에서 실패했으며, 이는 자세 조정 계획을 수행할 수 없기 때문이다.
• HTM는 좁은 틈새를 통과하기 위해 블록을 회전시키는 복잡한 조작을 성공적으로 계획하여 데이터로부터 암묵적인 기하학적 추론이 가능함을 보여주었다.
• Sawyer 로봇 시뮬레이션에서 HTM는 레플레이 버퍼에서의 실제 이미지만을 사용해 14개의 새로운 테스트 과제 중 12개에서 타당한 계획을 생성했다.
• 단절 분석 결과, 대비 에너지 모델과 역점수 간선 가중치 방법을 사용할 경우 SPTM 기준선 대비 목표지점까지의 최종 거리가 크게 감소했다.
• HTM 계획은 SPTM보다 더 해석 가능하고 부드럽며, 최소한의 초모수 조정이 필요했다.