[논문 리뷰] Weakly-Supervised Multi-Granularity Map Learning for Vision-and-Language Navigation

Peihao Chen, Dongyu Ji외 5명|arXiv (Cornell University)|2022. 10. 14.

Multimodal Machine Learning Applications인용 수 16

한 줄 요약

이 논문은 시각-언어 탐색을 위한 약한 지도 학습 다중 군집도를 제안한다. WS-MGMap는 상향식 지ap에 세분화된 시각적 특징(예: 색상, 질감)과 의미 클래스를 통합한다. 경로 기반의 군집 지도 학습을 사용해 약한 지도 학습 기반의 객체 위치 지정 보조 작업을 도입함으로써, 지시어와 관련된 객체를 더 정확하게 표현할 수 있도록 학습한다. 이로 인해 VLN-CE에서 본 적 있는 환경에서는 기존 최고 성능(SOTA) 대비 4.0% 높은 성공률을 기록했고, 본 적 없는 환경에서는 4.6% 높은 성공률을 달성했다.

ABSTRACT

We address a practical yet challenging problem of training robot agents to navigate in an environment following a path described by some language instructions. The instructions often contain descriptions of objects in the environment. To achieve accurate and efficient navigation, it is critical to build a map that accurately represents both spatial location and the semantic information of the environment objects. However, enabling a robot to build a map that well represents the environment is extremely challenging as the environment often involves diverse objects with various attributes. In this paper, we propose a multi-granularity map, which contains both object fine-grained details (e.g., color, texture) and semantic classes, to represent objects more comprehensively. Moreover, we propose a weakly-supervised auxiliary task, which requires the agent to localize instruction-relevant objects on the map. Through this task, the agent not only learns to localize the instruction-relevant objects for navigation but also is encouraged to learn a better map representation that reveals object information. We then feed the learned map and instruction to a waypoint predictor to determine the next navigation goal. Experimental results show our method outperforms the state-of-the-art by 4.0% and 4.6% w.r.t. success rate both in seen and unseen environments, respectively on VLN-CE dataset. Code is available at https://github.com/PeihaoChen/WS-MGMap.

연구 동기 및 목표

• 색상, 질감, 재질과 같은 세분화된 객체 속성을 정확한 탐색을 위해 표현할 수 있도록 기존 의미 지도의 한계를 해결하기 위해.
• 지도 학습에 필요한 고비용 수동 레이블링에 의존도를 줄이기 위해 약한 지도 학습 기반의 보조 작업을 도입하기 위해.
• 의미와 세분화된 세부 정보를 모두 포괄하는 분별력 있는 지도 표현을 학습함으로써 시각-언어 탐색의 제로샷 일반화 성능을 향상시키기 위해.
• 특히 표준 세분화 모델이 잘못 분류하는 객체들(예: 빨간 카펫을 바닥으로 잘못 인식하는 경우)에 대해 더 견고한 위치 지정을 가능하게 하기 위해.

제안 방법

• 세분화 모델의 U-Net 인코더의 마지막 레이어에서 추출한 세분화된 시각적 특징을 표준 의미 지도에 추가하여 풍부한 질감과 색상 정보를 유지한다.
• 세분화 모델의 고차원 잠재 특징을 상향식 에고세트릭 지도로 투영하여 다중 군집도 표현을 형성한다.
• 경로 기반의 단순 지도 학습만을 사용해 지시어와 관련된 객체의 위치를 예측하는 약한 지도 학습 기반의 위치 지정 헤드를 도입한다. 이로 인해 수동 레이블링이 필요 없다.
• 에이전트의 경로에서 생성된 군집 위치 지도 지도를 사용하여, 경로 근처 영역을 관련 객체의 양성 샘플로 간주한다.
• 엔코더와 웨이포인트 예측기 간의 엔드 투 엔드 학습을 통해 지도 인코더를 동시에 학습하며, 보조 작업이 탐색을 위한 지도 표현을 향상시킨다.
• 예측된 웨이포인트 방향으로 저수준 동작(예: 앞으로 이동, 회전)을 수행하기 위해 표준 오프 더 셰프 로컬 정책을 사용한다.

실험 결과

연구 질문

• RQ1 의미 클래스와 세분화된 시각적 특징을 통합한 다중 군집도가 시각-언어 탐색 성능을 향상시키는가?
• RQ2 경로 기반 지도 학습만을 사용하는 약한 지도 학습 기반의 위치 지정 보조 작업이 수동 객체 레이블링 없이도 지도 표현을 향상시키는가?
• RQ3 제안된 방법이 표준 세분화 모델이 잘못 분류하는 객체들(예: 빨간 카펫을 바닥으로 잘못 인식하는 경우)을 더 잘 위치 지정할 수 있는가?
• RQ4 복잡한 지시어 기반 객체 기술에 대해 이 방법이 얼마나 잘 일반화되는가?

주요 결과

• 제안된 WS-MGMap 방법은 VLN-CE 벤치마크에서 본 적 있는 환경에서 SOTA 기준 4.0% 높은 성공률을 기록했다.
• 본 적 없는 환경에서는 현재 SOTA 대비 4.6% 높은 성공률을 기록하여 강력한 제로샷 일반화 능력을 입증했다.
• U-Net 인코더의 마지막 레이어 특징을 사용할 경우 가장 높은 성능을 기록했으며, 첫 번째, 중간, 분류 레이어 특징보다 모든 지표에서 뛰어난 성능을 보였다.
• 제거 분석 결과, 약한 지도 학습 기반의 위치 지정 작업이 특히 '빨간 카펫'처럼 의미가 모호한 레이블을 가진 객체의 위치 정확도를 크게 향상시킨다.
• 정성적 결과는 WS-MGMap이 기존 베이스라인 대비 지시어와 관련된 객체를 더 정확하게 위치 지정함을 확인했으며, 특히 세분화 모델이 실패하는 경우(예: 빨간 카펫을 바닥으로 잘못 인식하는 경우)에 뚜렷한 우수성을 보였다.
• 모델는 색상과 질감과 같은 세분화된 속성을 효과적으로 학습하여, 두 개의 식탁과 같은 유사한 객체들 간의 분별력을 향상시켰다.