[논문 리뷰] Image Stylization for Robust Features

Iaroslav Melekhov, Gabriel Brostow외 2명|arXiv (Cornell University)|2020. 08. 16.

Advanced Image and Video Retrieval Techniques참고 문헌 36인용 수 15

한 줄 요약

이 논문은 일몰/일출, 날씨 변화 및 계절 변화와 같은 외관 변화에 대한 국소적 특징의 강건성을 향상시키기 위해 훈련 중 이미지 스타일 전이를 사용하는 것을 제안한다. 여러 스타일화된 이미지 버전(예: 야간, 눈, 비)을 합성 호모그래피와 결합하여 R2D2 특징이 극단적인 시각 조건에서도 일반화하도록 훈련함으로써, 3D 대응 관계나 실제 3D 재구성 자료가 필요 없이도 시각적 위치 결정 벤치마크에서 최신 기술 수준(SoA) 성능을 달성한다.

ABSTRACT

Local features that are robust to both viewpoint and appearance changes are crucial for many computer vision tasks. In this work we investigate if photorealistic image stylization improves robustness of local features to not only day-night, but also weather and season variations. We show that image stylization in addition to color augmentation is a powerful method of learning robust features. We evaluate learned features on visual localization benchmarks, outperforming state of the art baseline models despite training without ground-truth 3D correspondences using synthetic homographies only. We use trained feature networks to compete in Long-Term Visual Localization and Map-based Localization for Autonomous Driving challenges achieving competitive scores.

연구 동기 및 목표

• 시각적 위치 결정에서 일몰/일출, 날씨 변화 및 계절 변화와 같은 외관 변화에 대한 국소적 특징의 강건성을 향상시키기 위해.
• 표준 색상 증강 외에 이미지 스타일 전이가 특징 일반화에 기여하는지 조사하기 위해.
• 3D 대응 관계 또는 SfM 재구성 자료를 사용한 훈련과 비교해 스타일 전이 기반 데이터 증강이 이를 대체하거나 슈퍼어리어어하는지 평가하기 위해.
• 자율 주행을 위한 실세계 벤치마크(예: 장기 시각적 위치 결정 및 지도 기반 위치 결정)에서 경쟁적인 성능을 입증하기 위해.
• 훈련 중에 여러 스타일 전이 스타일(예: 야간, 눈, 비)을 사용하는 것이 효과적인지 탐색하기 위해.

제안 방법

• 신경 스타일 전이를 통해 생성된 원본 이미지와 스타일화된 이미지 쌍을 사용해 특징 네트워크를 훈련시키기 위해.
• 원본 및 스타일화된 이미지에서 이미지 패치를 추출하기 위해 합성 호모그래피를 적용하여 시점 변화를 시뮬레이션하기 위해.
• 외관 증강의 다양성을 높이기 위해 다양한 스타일 전이 목표(예: 다른 야간, 눈, 비 스타일)를 사용하기 위해.
• 3D 대응 관계에 의존하지 않고 합성 호모그래피와 스타일화된 이미지 쌍의 조합을 사용해 R2D2 기반 특징 네트워크를 훈련시키기 위해.
• 표준 특징 매칭 및 검색 파이프라인(예: Radenovic 등)을 활용해 벤치마크 데이터셋에서 위치 결정 평가를 수행하기 위해.
• 일조 조건, 날씨 및 계절 조건이 다양한 여러 데이터셋에서 성능을 평가하기 위해.

실험 결과

연구 질문

• RQ1 훈련 중 이미지 스타일 전이가 일몰/일출 및 계절 외관 변화에 대한 국소적 특징의 강건성 향상에 기여하는가?
• RQ2 표준 색상 증강과 비교해 스타일 전이 기반 증강의 외관 변화에 대한 강건성은 어떻게 되는가?
• RQ3 스태일 전이 기반 데이터 증강이 3D 대응 관계 또는 SfM 재구성 자료를 사용해 훈련한 모델과 비교해 유사하거나 더 뛰어난 성능을 낼 수 있는가?
• RQ4 스태일 전이의 이점은 사용된 스타일 전이 스타일의 수와 다양성에 따라 달라지는가?
• RQ5 정확한 3D 데이터 없이도 스타일화된 이미지 증강이 실세계 시각적 위치 결정 벤치마크에서 성능 향상에 기여하는가?

주요 결과

• 합성 호모그래피와 이미지 스타일 전이를 사용해 훈련한 모델이 ECCV 2020 자율 주행 차량를 위한 장기 시각적 위치 결정 도전 대회에서 최신 기술 수준(SoA) 기준을 초월하여, '야간' 시퀀스에서 0.1m, 0.2m, 0.5m 임계값에서 각각 30.5/53.8/78.8%의 성공률 기록.
• 자율 주행을 위한 지도 기반 위치 결정 도전 대회에서 10k R2D2-P-O2S 모델이 더 도전적인 'test_sequence1'에서 0.1m, 0.2m, 0.5m 임계값에서 각각 13.2/26.0/47.8%의 성공률 기록하며, Superpoint 및 D2-Net 기준 모델을 능가함.
• 확장된 CMU 계절 데이터셋에서 'day all' 분할에서 93.8/96.6/98.2%의 정확도 기록하여 계절 및 조명 조건 간 강력한 일반화 성능 입증.
• 제거 분석 결과, 특히 눈과 야간과 같은 극한 조건에서 색상 증강만 사용하는 것보다 스타일 전이가 상당한 성능 향상을 제공함을 확인함.
• 3D 대응 관계나 SfM 데이터 없이도 훈련한 모델이 Aachen Day-Night 벤치마크에서 87.1/94.7/98.3%의 정확도를 'day' 분할에서, 'night' 분할에서는 74.3/86.9/97.4%를 기록하여 강력한 일주일 간의 일반화 성능 입증.
• 3D 대응 관계나 SfM 데이터 없이도 여러 벤치마크에서 최신 기술 수준 성능를 달성함으로써, 스타일 전이가 데이터 증강 전략으로서의 유효성을 입증함.