[논문 리뷰] Sequential Adversarial Learning for Self-Supervised Deep Visual Odometry

Shunkai Li, Fei Xue외 3명|arXiv (Cornell University)|2019. 08. 23.

Advanced Vision and Imaging참고 문헌 43인용 수 13

한 줄 요약

이 논문은 깊이 및 자세 추정을 향상시키기 위해 압축된 코드 표현과 장기 기억 순환망(LSTM)을 통해 프레임 간 상관관계를 모델링하는 순차적 적대적 학습을 활용하는 자기지도 학습 딥 비전 오도메트리 프레임워크를 제안한다. 시각 합성 문제를 생성적 작업으로 간주하고 고수준의 구조적 인식을 위한 GAN 기반 판별자로 접근함으로써, KITTI 및 Cityscapes에서 최신 기준 성능을 달성하며 깊이 모호성과 자세 드리프트를 크게 감소시킨다.

ABSTRACT

We propose a self-supervised learning framework for visual odometry (VO) that incorporates correlation of consecutive frames and takes advantage of adversarial learning. Previous methods tackle self-supervised VO as a local structure from motion (SfM) problem that recovers depth from single image and relative poses from image pairs by minimizing photometric loss between warped and captured images. As single-view depth estimation is an ill-posed problem, and photometric loss is incapable of discriminating distortion artifacts of warped images, the estimated depth is vague and pose is inaccurate. In contrast to previous methods, our framework learns a compact representation of frame-to-frame correlation, which is updated by incorporating sequential information. The updated representation is used for depth estimation. Besides, we tackle VO as a self-supervised image generation task and take advantage of Generative Adversarial Networks (GAN). The generator learns to estimate depth and pose to generate a warped target image. The discriminator evaluates the quality of generated image with high-level structural perception that overcomes the problem of pixel-wise loss in previous methods. Experiments on KITTI and Cityscapes datasets show that our method obtains more accurate depth with details preserved and predicted pose outperforms state-of-the-art self-supervised methods significantly.

연구 동기 및 목표

• 단일 뷰 깊이 추정에 의존하는 자기지도 학습 시각 오도메트리의 한계를 해결하기 위해, 이는 정의되지 않은 문제이며 오차 발생에 취약하다.
• 연속 프레임 간의 공간-시간 상관관계를 활용하여 장시간 시퀀스에서 누적된 추정 오차와 스케일 드리프트를 감소시킨다.
• 고수준의 구조적 일致성을 포착하는 적대적 학습을 통해 픽셀 단위의 광학적 손실을 대체함으로써 깊이 및 자세 추정 정확도를 향상시킨다.
• 시각 합성과 궤적 일致성과 같은 지도 없는 신호를 활용하여 레이블이 없는 데이터로도 강건한 자기지도 학습을 가능하게 한다.
• 깊이 및 자세를 적대적 훈련을 통해 함께 최적화하는 통합 생성 프레임워크를 개발하며, 이때 판별자는 구조적 현실감을 평가한다.

제안 방법

• 연속 프레임 간의 광학 흐름을 압축된 코드 표현으로 학습하여 프레임 간 상관관계를 인코딩한다.
• LSTM 네트워크를 사용하여 시퀀스 전반에 걸쳐 코드 표현을 집계하고 개선함으로써 장기적인 시간적 의존성을 캡처한다.
• 깊이 및 자세 추정을 조건부 이미지 생성 작업으로 간주하며, 생성자는 추정된 깊이 및 자세를 사용해 목표 이미지를 왜곡하여 합성한다.
• 고수준의 구조적 인식을 사용하여 합성된 이미지의 현실감을 평가하는 판별자를 갖춘 생성 적대적 네트워크(GAN)를 활용한다.
• 궤적 일치(trajectory consistency, TC) 손실을 통해 공간-시간 일치성을 강화하여 시퀀스 전반에 걸친 자세 예측을 정규화한다.
• 지표가 없는 데이터가 필요 없이, 시각 합성에 대한 광학적 손실과 이미지 현실감에 대한 적대적 손실을 동시에 사용하여 네트워크를 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 압축된 코드 표현을 통해 순차적 프레임 상관관계를 모델링하면 자기지도 학습 시각 오도메트리에서 깊이 추정 성능이 향상되는가?
• RQ2 구조적 인식 기반의 적대적 학습으로 픽셀 단위의 광학적 손실을 대체하면 깊이 및 자세 추정 정확도가 더 높아지는가?
• RQ3 LSTM을 통한 장기적인 시간적 맥락을 통합함으로써 장시간 시퀀스에서 스케일 드리프트와 추정 오차는 어느 정도 감소하는가?
• RQ4 GAN 기반 이미지 생성과 시각 합성의 조합은 기존 자기지도 학습 VO 방법에 비해 성능 향상에 얼마나 기여하는가?
• RQ5 적대적 훈련과 궤적 일치를 통합한 자기지도 프레임워크는 지도 학습 방법과 비교해 유사한 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 KITTI 및 Cityscapes 데이터셋에서 최신 기준 성능을 달성하며, 깊이 및 자세 추정 모두에서 기존 자기지도 학습 방법을 능가한다.
• 전체 모델(코드 + GAN + LSTM + TC)을 사용할 경우 KITTI 50m 시퀀스에서 깊이 추정의 평균 절대 오차(MAE)를 0.146으로 감소시켜 베이스라인 대비 59% 향상시켰다.
• 시퀀스 09에서는 자세 추정 오차가 0.0030으로, 시퀀스 10에서는 0.0029로 기존 자기지도 기반 베이스라인을 크게 능가했다.
• 절단 실험 결과 각 구성 요소(코드, LSTM, GAN, 궤적 일치)가 성능 향상에 기여하며, 특히 GAN과 LSTM이 가장 큰 기여를 했다.
• 모델은 더 선명한 깊이 맵을 생성하며 세부 정보(예: 기둥, 윤곽선 등)의 보존을 향상시키고, 무문자나 색상 유사 지역에서 잘못된 깊이 예측을 방지한다.
• 레이블이 없는 이미지 시퀀스만을 사용함에도 불구하고 지도 학습 방법과 유사한 성능을 달성하여, 적대적 자기지도 학습의 효과성을 입증한다.