[논문 리뷰] Plan2Vec: Unsupervised Representation Learning by Latent Plans

Ge Yang, Amy Zhang외 4명|arXiv (Cornell University)|2020. 05. 07.

Domain Adaptation and Few-Shot Learning참고 문헌 52인용 수 6

한 줄 요약

Plan2Vec는 이미지 데이터에서 글로벌 메트릭 임베딩을 추출하기 위해 局소적으로 구성된 그래프에서 잠재적 계획을 활용하는 비지도 표현 학습 방법을 제안한다. 근접 이웃 그래프 위에서 히우리스틱 검색을 사용해 가치 목표를 생성함으로써, 환경 상호작용 없이도 목표 조건화된 장기 계획 거리 메트릭을 학습하며, 시뮬레이션 및 실제 환경 비전 작업(예: 탐색 및 유연 물체 조작)에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper we introduce plan2vec, an unsupervised representation learning approach that is inspired by reinforcement learning. Plan2vec constructs a weighted graph on an image dataset using near-neighbor distances, and then extrapolates this local metric to a global embedding by distilling path-integral over planned path. When applied to control, plan2vec offers a way to learn goal-conditioned value estimates that are accurate over long horizons that is both compute and sample efficient. We demonstrate the effectiveness of plan2vec on one simulated and two challenging real-world image datasets. Experimental results show that plan2vec successfully amortizes the planning cost, enabling reactive planning that is linear in memory and computation complexity rather than exhaustive over the entire state space.

연구 동기 및 목표

• 강화학습 환경 상호작용 없이 오프라인 이미지 데이터에서 구조적이고 메트릭 기반의 표현을 학습하기 위해.
• 학습된 글로벌 임베딩을 통해 계획 비용을 분산시켜 효율적이고 반응형 계획을 가능하게 하기 위해.
• 경로 적분 증류를 통해 局소적 이미지 유사도에서 글로벌 메트릭을 구성하기 위해.
• Street Learn 및 로프 조작과 같은 도전적인 실제 환경 비전 데이터셋에서의 효과성을 입증하기 위해.
• 기본 그래프가 기하학적이지 않은 토폴로지일지라도, 해석 가능한 메트릭 유사 표현을 학습하기 위해.

제안 방법

• 근접 이웃 이미지 간에 연결을 정의하기 위해 학습된 局소적 메트릭 d(xi, xj)를 사용하여 이미지 데이터에서 가중치가 부여되고 방향성이 있는 그래프를 구성한다.
• 최적의 장기 계획 경로를 생성하고 경로 적분 값으로 타겟 신호를 계산하기 위해 그래프에서 히우리스틱 검색(예: A*)을 사용한다.
• 그래프 검색 결과에서 최단 경로 거리로 회귀함으로써 글로벌 메트릭 네트워크 Dφ(o, og) = ||φ(o) - φ(og)||p 를 훈련시킨다.
• 두 가지 변형을 사용한다: 하나는 계획된 경로에 대한 회귀를 사용하고, 다른 하나는 가치 함수 학습을 위한 피팅된 값 반복(fitted value iteration)을 사용한다.
• 관측값을 잠재 공간에 임베딩하는 데 시아미즈 또는 ResNet 기반 인코더를 사용하며, 거리가 의미적 또는 탐색 유사도를 반영하도록 한다.
• 반감도 학습 원리(semi-supervised learning principles)를 활용하여 실제 전이 데이터는 레이블 데이터로 간주하고, 그래프 구조는 일반화를 위한 인덕티브 바이어스를 제공한다.

실험 결과

연구 질문

• RQ1 환경 상호작용 없이 오프라인 이미지 데이터에서 글로벌이고 목표 조건화된 메트릭을 학습할 수 있는가?
• RQ2 국소적으로 구성된 그래프에서 잠재적 계획이 순수하게 국소적 메트릭보다 더 정확하고 일반화 가능한 표현을 생성할 수 있는가?
• RQ3 히우리스틱 검색에서 유도된 경로 적분 타겟이 장기 계획의 효율성과 정확도를 향상시키는가?
• RQ4 학습된 표현이 전역 상태 공간을 전수 검색하는 대신 선형 복잡도를 가지는 반응형 계획을 지원할 수 있는가?
• RQ5 그래프가 기하학적으로 정확하지 않은 토폴로지일지라도, 표현이 해석 가능한 메트릭 지도를 포함하는가?

주요 결과

• Open 도메인에서 1단계 이웃 예측에 대해 98.6% ± 0.7의 테스트 정확도를 기록하여 국소 메트릭 일반화 능력이 뛰어나다는 것을 입증했다.
• 로프 조작 데이터셋에서 Plan2Vec는 96.6% ± 0.9의 훈련 정확도와 92.4% ± 1.5의 테스트 정확도를 달성하여 도전적인 실제 환경 시각 제어 작업에서의 효과성을 보였다.
• Street Learn 데이터셋에서 Plan2Vec는 99.2% ± 0.5의 훈련 정확도를 기록했으며, GPS 데이터 없이도 원시 Street View 이미지에서 탐색 가능하고 해석 가능한 메트릭 지도를 성공적으로 학습했다.
• 이 방법은 선형 메모리 및 계산 복잡도를 가지는 반응형 계획을 가능하게 하여 전체 상태 공간에 대한 전수 검색을 피했다.
• 기본 그래프가 토폴로지일지라도, 학습된 표현은 탐색 거리와 일관된 메트릭 구조를 포착했다.
• 특히 그래프 검색을 샘플링 정책으로 사용할 경우, k단계 사전 계획 성공률에서 기준 방법들을 초월했다.