[논문 리뷰] Where are the Keys? -- Learning Object-Centric Navigation Policies on Semantic Maps with Graph Convolutional Networks

Niko Sünderhauf|arXiv (Cornell University)|2019. 09. 16.

Multimodal Machine Learning Applications참고 문헌 32인용 수 8

한 줄 요약

이 논문은 그래프 컬러리션 네트워크(GCN) 기반의 내비게이션 정책을 제안하여, FastText 단어 벡터를 통한 의미 유사성 활용으로 의미 맵 상에서 미리 맵핑되지 않은 이동 가능한 물체(예: 열쇠, 리모컨)를 탐색할 수 있도록 한다. 이 정책은 새로운 물체 클래스와 환경으로의 일반화 성능가장 낮은 성능 하락을 보이며, 새로운 환경에서 96%의 성공률을 달성하고, 새로운 클래스에 대해 거의 올리고리 성능을 보여주며, 표본 효율성을 향상시키기 위해 프록시 작업을 사전 훈련함으로써 가능해진다.

ABSTRACT

Emerging object-based SLAM algorithms can build a graph representation of an environment comprising nodes for robot poses and object landmarks. However, while this map will contain static objects such as furniture or appliances, many moveable objects (e.g. the car keys, the glasses, or a magazine), are not suitable as landmarks and will not be part of the map due to their non-static nature. We show that Graph Convolutional Networks can learn navigation policies to find such unmapped objects by learning to exploit the hidden probabilistic model that governs where these objects appear in the environment. The learned policies can generalise to object classes unseen during training by using word vectors that express semantic similarity as representations for object nodes in the graph. Furthermore, we show that the policies generalise to unseen environments with only minimal loss of performance. We demonstrate that pre-training the policy network with a proxy task can significantly speed up learning, improving sample efficiency.

연구 동기 및 목표

• 기존 SLAM 시스템이 추적하지 못하는 도메인 환경에서 비정적이고 미리 맵핑되지 않은 물체(예: 열쇠, 리모컨)를 향해 내비게이션하는 문제를 해결하기 위해.
• 단어 벡터 표현을 통한 의미 유사성을 활용하여 훈련 중에 보지 못한 물체 클래스로의 일반화를 가능하게 하는 내비게이션 정책을 개발하기 위해.
• 정책 네트워크의 사전 훈련을 위해 프록시 작업을 도입하여 강화 학습의 표본 효율성을 향상시키기 위해.
• 다른 물체 배치 분포와 그래프 레이아웃을 가진 새로운 환경에서의 일반화 성능 평가하기 위해.

제안 방법

• 방법은 자세 노드와 정적 물체 랜드마크를 포함한 그래프 기반 의미 맵을 사용하며, 노드는 로봇 자세와 정적 물체를 나타내고, 엣지는 공간적 및 의미적 관계를 표현한다.
• 정책 네트워크로 그래프 컬러리션 네트워크(GCN)를 사용하여 그래프를 처리하고, 내비게이션을 위한 자세 노드 집합에 대한 확률 분포를 출력한다.
• 물체 클래스는 의미 유사성을 포괄할 수 있도록 FastText 단어 벡터를 사용해 임베딩된다. 이는 새로운 물체 카테고리로의 제로샷 일반화를 가능하게 한다.
• 정책은 목표 물체에 가까워지는 것과 희소한 밀도 보상에 기반한 보상 구조를 사용하여 강화 학습으로 훈련된다.
• 표본 효율성을 향상시키기 위해, 의미적 맥락에 기반해 물체 배치 확률을 예측하는 프록시 작업을 도입하여 GCN를 사전 훈련한다.
• 일반화 능력을 평가하기 위해, 다른 물체 배치 분포와 그래프 구조를 가진 새로운 환경에서 정책을 테스트한다.

실험 결과

연구 질문

• RQ1 GCN 기반 정책은 정적 랜드마크와 자세 노드로만 이루어진 의미 맵을 사용하여 비정적이고 미리 맵핑되지 않은 목표 물체를 탐색할 수 있는가?
• RQ2 단어 벡터를 통한 의미 유사성에 의존하여, 훈련 중에 보지 못한 물체 클래스로의 일반화 성능는 얼마나 좋은가?
• RQ3 프록시 작업에 대한 사전 훈련이 내비게이션 작업의 표본 효율성과 최종 성능 향상에 얼마나 기여하는가?
• RQ4 새로운 환경에서 환경 레이아웃과 물체 배치 분포의 변화에 대해 정책의 내구성은 어느 정도인가?
• RQ5 다른 그래프 구조와 확률적 물체 배치 규칙을 가진 완전히 새로운 환경으로 정책이 일반화 가능한가?

주요 결과

• 정책은 새로운 환경에서 96%의 성공률을 달성하며, 훈련 환경의 99%에서 약간의 성능 하락만을 보이며, 새로운 레이아웃과 물체 배치 분포로의 강력한 일반화 능력을 보여준다.
• 프록시 작업 사전 훈련을 통해, 새로운 환경에서 목표까지의 평균 단계 수가 2.39에서 2.0으로 감소하여 표본 효율성 향상과 더 빠른 수렴을 나타낸다.
• 정책은 훈련 데이터에 포함되지 않은 새로운 물체 클래스로도 효과적으로 일반화된다: 의미적으로 유사한 새로운 클래스(예:黄, 요거트)에 대해 올리고리 정책과 유사한 성능을 보이며, 대부분의 클래스에서 성공률가 90%를 초과한다.
• 무작위 탐색에 비해 정책은 크게 뛰어난 성능을 보이며, 새로운 환경에서 96%의 성공률 달성한 반면, 무작위 내비게이션은 오직 30%에 불과하다.
• FastText 단어 벡터의 사용은 새로운 물체 클래스로의 제로샷 일반화를 가능하게 하며, 훈련 데이터에 의미적 이웃이 없는 클래스(예: 핸드폰)를 제외한 대부분의 경우에 효과적이다.
• 정책의 성능는 그래프 구조와 레이아웃 변화에 대해 내구성이 있으며, 특정 환경을 기억하는 것이 아니라, 불변의 맥락 인식 내비게이션 전략을 학습하고 있음을 시사한다.