[논문 리뷰] Unsupervised Domain Adaptation for Visual Navigation

Shangda Li, Devendra Singh Chaplot외 4명|arXiv (Cornell University)|2020. 10. 27.

Multimodal Machine Learning Applications참고 문헌 54인용 수 6

한 줄 요약

이 논문은 정책 기반 이미지 변환(PBIT)을 제안하며, 실세계 이미지를 시뮬레이션 환경의 시각적 분포에 맞추면서도 정책에 관련된 특징을 유지하는 비지도 도메인 적응 방법이다. 이 방법은 시뮬레이션에서 학습한 시각적 탐색 정책을 실세계 환경으로의 제로샷 전이를 향상시켜, 미리보지 않은 실세계 환경에서 55.6%의 성공률을 달성하며 직접 전이 대비 22.3%포인트 높은 성능을 보였다.

ABSTRACT

Advances in visual navigation methods have led to intelligent embodied navigation agents capable of learning meaningful representations from raw RGB images and perform a wide variety of tasks involving structural and semantic reasoning. However, most learning-based navigation policies are trained and tested in simulation environments. In order for these policies to be practically useful, they need to be transferred to the real-world. In this paper, we propose an unsupervised domain adaptation method for visual navigation. Our method translates the images in the target domain to the source domain such that the translation is consistent with the representations learned by the navigation policy. The proposed method outperforms several baselines across two different navigation tasks in simulation. We further show that our method can be used to transfer the navigation policies learned in simulation to the real world.

연구 동기 및 목표

• 시뮬레이션에서의 정책 학습을 실세계 환경으로 전이할 수 있도록 시뮬레이션에서의 일반화 격차를 해소하기 위해.
• 도메인 적응을 위해 쌍체의 실세계 및 시뮬레이션 데이터 수집에 드는 높은 비용을 해결하기 위해.
• 탐색 정책에 관련된 작업에 적합한 시각적 특징을 유지하는 비지도 이미지 변환 방법을 개발하기 위해.
• 이미지 변환 결과가 단순히 사진처럼 사실적인 것뿐만 아니라, 탐색 정책이 학습한 표현과 일관성을 유지하기 위해.

제안 방법

• 이 방법은 이미지의 콘텐츠와 스타일을 분리하여, 다양한 시각적 스타일 간에 일관된 도메인 불변 표현을 학습한다.
• 이미지 변환 후 동일한 탐색 정책 행동을 유도하기 위해 정책 일관성 손실을 사용한다.
• 사이클 일관성 있는 이미지 변환 네트워크를 통해 실세계 이미지를 원본 도메인(예: Gibson 시뮬레이션)으로 매핑하면서도, 탐색에 핵심적인 구조적 및 의미적 세부 정보를 유지한다.
• 이미지 변환의 정확도와 정책 일관성을 동시에 최적화하는 훈련 과정을 통해, 쌍체가 없는 실세계 이미지와 사전 학습된 탐색 정책만을 사용한다.
• 지표 이미지 쌍이 필요 없이 사전 학습된 탐색 정책을 활용하여 이미지 변환을 지도함으로써, 지도 학습이 아닌 비지도 방법을 적용한다.
• 이 방법은 시뮬레이션에서 시뮬레이션으로, 시뮬레이션에서 실세계로의 전이에 대해 평가하여, 다양한 도메인 간에 강건성을 입증한다.

실험 결과

연구 질문

• RQ1 비지도 이미지 변환은 시뮬레이션에서 실세계 환경으로의 시각적 탐색 정책 일반화를 향상시킬 수 있는가?
• RQ2 표준 이미지 변환 방법과 비교해 정책 유도 이미지 변환은 탐색에 관련된 특징을 얼마나 잘 유지하는가?
• RQ3 제안된 방법은 미세조정 없이도 새로운 실세계 환경에서 강력한 제로샷 전이 성능을 달성할 수 있는가?
• RQ4 사진처럼 사실적인 변환만으로는 비교해 정책 일관성이 있는 이미지 변환이 얼마나 더 탐색 성공률을 향상시키는가?
• RQ5 이 방법은 점목표 및 이미지목표 탐색과 같은 다양한 탐색 작업으로 일반화 가능한가?

주요 결과

• 미리보지 않은 실세계 환경에서 PBIT는 점목표 탐색 과제에서 55.6%의 성공률을 기록했으며, 직접 전이 기준선(33.3%) 대비 22.3%포인트 향상된 성과를 보였다.
• 실세계 테스트 환경 전반에서 PBIT는 목표까지의 최종 거리를 기준선 대비 평균 87.5% 감소시켰으며, 최종 거리는 0.67m로 줄었고, 기준선은 3.16m였다.
• 확인된 실세계 환경(Corridors)에서는 9회의 시험 전부에서 PBIT가 100% 성공률를 기록했고, 직접 전이 기준선은 오직 11.1%의 성공률를 기록했다.
• PBIT는 시뮬레이션에서 시뮬레이션으로, 시뮬레이션에서 실세계로의 도메인 적응 과제에서 여러 기준선을 능가하며 일관된 성능 향상을 입증했다.
• 정성적 결과에서는 PBIT가 실세계 환경의 독특한 질감과 조명 조건에서도 바닥-벽 경계 및 장애물과 같은 핵심 탐색 신호를 유지하고 있음을 보여주었다.
• 제거 실험 결과 정책 일관성 손실이 필수적임을 확인했으며, 이는 고도의 시각적 사실성에도 불구하고 정책 일관성 손실이 없으면 탐색 성능 향상이 이루어지지 않음을 의미한다.