[논문 리뷰] Multi-Frame GAN: Image Enhancement for Stereo Visual Odometry in Low Light

Eunah Jung, Nan Yang외 1명|arXiv (Cornell University)|2019. 10. 15.

Advanced Vision and Imaging인용 수 13

한 줄 요약

이 논문은 저조도 스테레오 영상 시퀀스를 향상시켜 스테레오 시각적 오도메트리(VO) 성능을 향상시키는 데 목적이 있는 새로운 GAN 기반 방법인 Multi-Frame GAN(MFGAN)을 제안한다. 비쌍정보 데이터를 활용하고, 광학 흐름 기반 손실을 통해 시간적 및 스테레오 일관성을 강제함으로써, 시각적으로 향상되고 기하학적으로 일관된 영상 시퀀스를 생성한다. 이는 어두운 야간 조건에서 기능 기반 및 직접적 VO 방법의 정확성과 강인성을 크게 향상시킨다.

ABSTRACT

We propose the concept of a multi-frame GAN (MFGAN) and demonstrate its potential as an image sequence enhancement for stereo visual odometry in low light conditions. We base our method on an invertible adversarial network to transfer the beneficial features of brightly illuminated scenes to the sequence in poor illumination without costly paired datasets. In order to preserve the coherent geometric cues for the translated sequence, we present a novel network architecture as well as a novel loss term combining temporal and stereo consistencies based on optical flow estimation. We demonstrate that the enhanced sequences improve the performance of state-of-the-art feature-based and direct stereo visual odometry methods on both synthetic and real datasets in challenging illumination. We also show that MFGAN outperforms other state-of-the-art image enhancement and style transfer methods by a large margin in terms of visual odometry.

연구 동기 및 목표

• 야간 주행과 같은 저조도 조건에서 스테레오 시각적 오도메트리의 낮은 추적 성능 문제를 해결한다.
• 쌍정보 학습 데이터가 필요하거나 시간 및 스테레오 쌍 간 기하학적 일관성을 유지하지 못하는 기존 방법의 한계를 극복한다.
• 저조도 환경에서 기능 추출 및 체적 오차 최소화를 향상시키는 학습 기반 영상 향상 프레임워크를 개발한다.
• 스페이스-타임 일관성을 확보하여 기능 기반 및 직접적 VO 방법 모두의 신뢰할 수 있는 카메라 자세 추정을 유지한다.
• 시각적 오도메트리 맥락에서 최신 기술인 영상 향상 및 스타일 전이 기법들과 비교하여 제안된 방법의 우수성을 입증한다.

제안 방법

• 비용이 많이 드는 쌍정보 데이터 수집을 피하기 위해, 저조도에서 잘 조명된 스테레오 시퀀스로의 비쌍정보 영상 간 변환을 위해 CycleGAN을 적응시킨다.
• 시간적 의존성을 모델링하기 위해 시간에 걸쳐 특징을 연결하는 방식으로, 두 개의 연속된 스테레오 영상 쌍을 처리하는 새로운 생성자 아키텍처를 설계한다.
• 연속적으로 강화된 프레임 간 광학 흐름 기반의 시간 일관성 손실을 도입하여 운동 일관성을 유지한다.
• 각 스테레오 쌍의 왼쪽 및 오른쪽 영상 간 광학 흐름을 활용한 스테레오 일관성 손실을 도입하여 카메라 간 기하학적 정렬을 유지한다.
• 적대적 손실, 사이클 일관성 손실 및 새로운 일관성 손실을 통합한 훈련 목표 함수를 구성하여 엔드 투 엔드 최적화를 수행한다.
• 역가능한 적대적 네트워크를 활용하여 쌍정보 감독 없이도 밝은 환경에서 유용한 특징을 어두운 환경으로 전이한다.

실험 결과

연구 질문

• RQ1 쌍정보 학습 데이터가 없이도 GAN 기반 접근이 저조도 스테레오 영상 시퀀스를 효과적으로 향상시켜 스테레오 시각적 오도메트리 성능을 향상시킬 수 있는가?
• RQ2 영상 변환 과정에서 시간적 및 스테레오 일관성을 어떻게 유지할 수 있는가? 이를 통해 VO 시스템의 기하학적 정밀도를 유지할 수 있는가?
• RQ3 제안된 방법이 저조도 환경에서 기능 기반 및 직접적 스테레오 VO 방법의 추적 정확성과 강인성을 어느 정도 향상시키는가?
• RQ4 VO 성능 측면에서 MFGAN은 다른 최신 영상 향상 및 스타일 전이 기법들과 비교해 어떻게 정량적으로 우월한가?
• RQ5 제안된 일관성 손실이 실제 어려운 조명 조건에서 VO의 신뢰성을 향상시키는 데 일반화될 수 있는가?

주요 결과

• MFGAN은 저조도 시퀀스에서 Stereo ORB-SLAM의 추적 포인트 수를 평균 106개에서 289개로 크게 향상시켰다.
• ORB-SLAM의 평균 재투영 오차는 MFGAN 향상 시퀀스에서 감소하였으며, 낮은 잔차를 기록한 포인트 비율이 원본 야간 영상보다 높았다.
• Stereo DSO는 MFGAN 향상 시퀀스에서 추적 정확도가 뚜렷이 향상되었으며, 시퀀스 01에서는 상대적 이동 오차가 77.6에서 5.41로, 시퀀스 09에서는 36.20에서 5.57로 감소했다.
• MFGAN은 AHE, LIME, DP, ToDayGAN, DRIT 및 LinearTransfer와 같은 다른 방법들을 모두 능가하여 모든 시퀀스에서 상대적 이동 및 회전 오차가 가장 낮았다.
• DSO의 경우 MFGAN을 사용할 경우 평균 상대적 이동 오차가 5.67로 감소하였고, ORB-SLAM의 경우 6.83으로 감소하였으며, 기준 방법의 경우 44를 초과했다.
• 시각적 분석 결과, MFGAN은 홀로 및 동적 조명 아티팩트를 효과적으로 제거하면서도 이미지 구조를 유지하고 기울기를 강화하여 더 신뢰할 수 있는 기능 추출을 가능하게 했다.