[논문 리뷰] Condition directed Multi-domain Adversarial Learning for Loop Closure Detection

Peng Yin, Yuqing He외 2명|arXiv (Cornell University)|2017. 11. 21.

Advanced Vision and Imaging참고 문헌 6인용 수 3

한 줄 요약

이 논문은 시각 SLAM에서 루프 클로징 검출(LCD)을 위한 조건 지향 다중 도메인 적대적 학습 프레임워크를 제안한다. 기상 조건을 감독으로 사용하여 GAN과 분류 네트워크를 통해 기상에 강인한 특징을 학습한다. 이 방법은 고해상도 이미지에서 고수준의 조명 강인한 표현을 효과적으로 포착함으로써 GTAV 시뮬레이터에서 최신 기술보다 뛰어난 성능을 발휘한다.

ABSTRACT

Loop closure detection (LCD) is the key module in appearance based simultaneously localization and mapping (SLAM). However, in the real life, the appearance of visual inputs are usually affected by the illumination changes and texture changes under different weather conditions. Traditional methods in LCD usually rely on handcraft features, however, such methods are unable to capture the common descriptions under different weather conditions, such as rainy, foggy and sunny. Furthermore, traditional handcraft features could not capture the highly level understanding for the local scenes. In this paper, we proposed a novel condition directed multi-domain adversarial learning method, where we use the weather condition as the direction for feature inference. Based on the generative adversarial networks (GANs) and a classification networks, the proposed method could extract the high-level weather-invariant features directly from the raw data. The only labels required here are the weather condition of each visual input. Experiments are conducted in the GTAV game simulator, which could generated lifelike outdoor scenes under different weather conditions. The performance of LCD results shows that our method outperforms the state-of-arts significantly.

연구 동기 및 목표

• 시각 SLAM에서 다양한 기상 및 조명 조건에서 루프 클로징 검출의 과제를 해결하기 위해.
• 수작업으로 만든 기술자소개서에 의존하지 않고 고수준의 기상 불변 시각적 특징을 학습하기 위해.
• 엔드 투 엔드 특징 학습을 위해 오직 기상 조건 레이블만을 활용하여 애너테이션 부담을 줄이기 위해.
• 실세계 시나리오에서 환경 변화가 빠르게 일어나는 상황에서 LCD의 강인성과 일반화 능력을 향상시키기 위해.

제안 방법

• 프레임워크는 조건부 생성 적대적 네트워크(cGAN)를 사용하여 다양한 기상 조건 하에서 이미지를 생성함으로써 도메인 불변 특징 학습을 가능하게 한다.
• 분류 네트워크는 입력 이미지의 기상 조건을 예측하도록 훈련되어, 특징 추출기의 기상 강인한 표현 학습을 이끌어낸다.
• 특징 추출기는 루프 클로징 인스턴스의 신원 일관성을 유지하면서도 다양한 기상 도메인 간의 도메인 이탈을 최소화하도록 공동 최적화된다.
• 모델은 특징 공간에서 콘텐츠를 기상 특성과 분리하도록 유도하기 위해 적대적 훈련을 사용한다.
• 수작업 특징 없이 원시 RGB 이미지에서만 훈련되며, 오직 기상 조건 애너테이션에 의존한다.
• 다중 도메인 적대적 손실은 잠재 공간에서 서로 다른 기상 도메인의 특징들이 구분되지 않도록 보장한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 오직 기상 조건 레이블만을 사용하여 루프 클로징 검출을 위한 기상 불변 시각적 특징을 학습할 수 있는가?
• RQ2 조건 지향 다중 도메인 적대적 학습은 조명 및 기상 변화에 대한 강인성을 어떻게 향상시키는가?
• RQ3 제안된 방법은 다양한 환경 조건에서 전통적인 수작업 특징 기반 접근법보다 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 적대적 훈련은 시각적 특징에서 콘텐츠를 기상 특성과 효과적으로 분리할 수 있는가?

주요 결과

• 제안된 방법은 다양한 기상 조건에서 GTAV 시뮬레이터에서 최신 기술 LCD 방법보다 뚜렷하게 뛰어난 성능을 발휘한다.
• 특히 dense 안개와 비와 같은 도전적인 조건에서 베이스라인 방법보다 더 높은 정밀도와 재현율을 달성한다.
• 오직 기상 조건 레이블만을 사용함으로써 복잡한 데이터 증강이나 인간이 애너테이션한 장면 기술이 필요 없이 효과적인 특징 학습이 가능하다.
• 적대적 훈련 기법은 기상 도메인 간의 도메인 이탈을 성공적으로 감소시켜 환경 변화에 대한 일반화 능력을 향상시켰다.