[논문 리뷰] Semantic Visual Navigation by Watching YouTube Videos

Matthew Chang, Arjun Gupta외 1명|arXiv (Cornell University)|2020. 06. 17.

Multimodal Machine Learning Applications참고 문헌 62인용 수 23

한 줄 요약

이 논문은 인간이 애너테이션한 동작이나 목표 없이, 비정형적인 유튜브 영상을 활용하여 의미적 시각적 탐색 정책을 학습하는 방법인 비디오에서의 가치 학습(VLV)을 제안한다. 역역도학을 사용해 동작을 의사 레이블링하고, 영상 전이 4차 쌍(이미지, 동작, 다음 이미지, 보상)에 Q-학습을 적용함으로써, 공간적 규칙성을 인코딩하는 가치 함수를 학습한다. 이는 종단간 강화학습과 이터레이션 학습 대비 15–83%의 상대적 성능 향상을 이룩하며, 실제 세계 상호작용을 최소화한다.

ABSTRACT

Semantic cues and statistical regularities in real-world environment layouts can improve efficiency for navigation in novel environments. This paper learns and leverages such semantic cues for navigating to objects of interest in novel environments, by simply watching YouTube videos. This is challenging because YouTube videos don't come with labels for actions or goals, and may not even showcase optimal behavior. Our method tackles these challenges through the use of Q-learning on pseudo-labeled transition quadruples (image, action, next image, reward). We show that such off-policy Q-learning from passive data is able to learn meaningful semantic cues for navigation. These cues, when used in a hierarchical navigation policy, lead to improved efficiency at the ObjectGoal task in visually realistic simulations. We observe a relative improvement of 15-83% over end-to-end RL, behavior cloning, and classical methods, while using minimal direct interaction.

연구 동기 및 목표

• 인간이 애너테이션한 동작이나 목표 없이, 오직 비정형적인 유튜브 영상만을 사용하여 새로운 환경에서 제로샷 의미적 시각적 탐색을 가능하게 하기 위해.
• 동작 레이블, 목표 애너테이션, 최적의 경로가 없는 영상에서 학습하는 도전 과제를 해결하기 위해.
• 자기주도 영상 시퀀스에서의 시각적 공존 패턴을 활용해, 실내 레이아웃의 공간적 규칙성과 같은 의미적 단서를 학습하기 위해.
• 인터넷 규모의 영상 데이터에서 사전 학습한 가치 함수를 통해 샘플 효율성과 일반화 능력을 향상시키기 위해.
• 비순차적 Q-학습을 통해 의사 레이블링된 영상 데이터에서 학습한 가치 함수가 종단간 강화학습과 행동 클로닝보다 뛰어난 탐색 정책을 도출할 수 있음을 입증하기 위해.

제안 방법

• 40,000개의 실제 세계 상호작용 샘플을 기반으로 훈련된 역역도학 모델을 사용해, 연속된 영상 프레임에서 동작 예측을 위한 의사 레이블을 생성한다.
• 목표 레이블은 대상 물체(예: 화장실, 침대)의 존재 여부를 기반으로 프레임을 분류하는 표준 객체 검출기로 확보한다.
• 보상이 다음 프레임의 객체 검출 결과에 따라 이진으로 결정되는 전이 4차 쌍(이미지, 동작, 다음 이미지, 보상)에 Q-학습 프레임워크를 적용한다.
• 결과적으로 도출된 Q-값은 의미적 단서를 암묵적으로 인코딩하는 가치 함수를 구성한다. 예를 들어, 목표 물체가 보이지 않더라도 그 방향으로 가는 데 높은 값이 부여된다.
• 학습된 가치 함수를 사용해 고수준의 이동 제어기를 목표 물체로 햖थ한 의미적 목표를 향해 이동시키는 계층적 탐색 정책을 구현한다.
• ObjectGoal 벤치마크를 사용한 시뮬레이션 환경에서 평가하며, 노이즈 및 데이터 모odal리티에 대한 복잡성에 대한 분석을 위해 아블레이션 실험을 수행한다.

실험 결과

연구 질문

• RQ1 의미적 시각적 탐색 정책을 인간이 애너테이션한 동작이나 목표 없이 비정형적인 유튜브 영상에서 효과적으로 사전 학습시킬 수 있는가?
• RQ2 의사 레이블링된 영상 전이에 Q-학습을 적용할 때, 탐색 효율성을 향상시키는 의미 있는 공간적 규칙성을 어느 정도 학습할 수 있는가?
• RQ3 영상에서 학습된 가치 함수의 성능은 종단간 강화학습과 행동 클로닝에 비해 새로운 환경으로의 제로샷 일반화에서 어떻게 비교되는가?
• RQ4 데이터 모달리티(합성 영상 대 유튜브 영상)와 경로의 노이즈가 정책의 일반화 능력과 성공률에 어떤 영향을 미치는가?
• RQ5 수동적인 영상 데이터에서 학습된 가치 함수는 물체 간 거리 및 공간 레이아웃 패턴과 같은 의미적 단서를 암묵적으로 인코딩할 수 있는가?

주요 결과

• 제안된 VLV 방법은 ObjectGoal 벤치마크에서 종단간 강화학습과 행동 클로닝에 비해 성공률 및 SPL에서 15–83%의 상대적 향상을 달성한다.
• 유튜브 영상에서 훈련한 결과, 전체 ObjectGoal 작업에서 SPL은 0.40 ± 0.06을 기록하며, 행동 클로닝(0.30 ± 0.05 SPL)을 초월하고 강력한 지도 학습 기반 기준선과도 유사한 성능을 보인다.
• 유튜브 영상에서 학습된 가치 함수는 새로운 환경으로의 일반화에 효과적으로 작용하며, 목표 물체에서 거리가 멀어질수록 가치 영역이 부드럽게 감쇠되는 경향을 보이며(S4.4에서 시각화됨), 이는 의미적 단서의 암묵적 인코딩을 뒷받침한다.
• 아블레이션 연구 결과, 진짜 동작 레이블이나 진짜 객체 검출 결과를 사용할 경우 성능이 약간 향상되지만, 노이즈가 있는 영상 데이터에도 불구하고 메서드는 높은 강건성을 유지한다.
• 분기 환경에서 TD(0) 및 몬테카를로 방법에 비해 Q-학습 기반 가치 함수가 더 뛰어난 성능을 보이며, 다른 방법이 실패하는 상황에서도 최적 경로를 정확히 식별한다(그림 S8 참조).
• 360도 풍경 영상에서 훈련할 경우 성능 향상(SPL: 전체 평균 0.47 ± 0.02)을 기록하여, richer한 시각적 맥락이 가치 함수 학습에 기여함을 시사한다.