[논문 리뷰] LIFE: Lighting Invariant Flow Estimation

Zhaoyang Huang, Xiaokun Pan외 5명|arXiv (Cornell University)|2021. 04. 07.

Advanced Vision and Imaging참고 문헌 59인용 수 5

한 줄 요약

LIFE는 구면운동(SfM)에서 유도된 카메라 자세와 합성 기하 변환을 활용하여 밝기 변화가 큰 영상 쌍 간의 조밀한 광학 흐름을 추정하기 위한 약한 지도 학습 프레임워크를 제안한다. 대칭적 에피포라 거리 손실을 사용하여 흐름 예측을 지도하며, 이는 큰 조명 변화 조건에서 최신 기술 성능을 달성하고 희소 기능 매칭 및 후속 시각적 국소화 작업을 크게 향상시킨다.

ABSTRACT

We tackle the problem of estimating flow between two images with large lighting variations. Recent learning-based flow estimation frameworks have shown remarkable performance on image pairs with small displacement and constant illuminations, but cannot work well on cases with large viewpoint change and lighting variations because of the lack of pixel-wise flow annotations for such cases. We observe that via the Structure-from-Motion (SfM) techniques, one can easily estimate relative camera poses between image pairs with large viewpoint change and lighting variations. We propose a novel weakly supervised framework LIFE to train a neural network for estimating accurate lighting-invariant flows between image pairs. Sparse correspondences are conventionally established via feature matching with descriptors encoding local image contents. However, local image contents are inevitably ambiguous and error-prone during the cross-image feature matching process, which hinders downstream tasks. We propose to guide feature matching with the flows predicted by LIFE, which addresses the ambiguous matching by utilizing abundant context information in the image pairs. We show that LIFE outperforms previous flow learning frameworks by large margins in challenging scenarios, consistently improves feature matching, and benefits downstream tasks.

연구 동기 및 목표

• 큰 조명 및 시점 변화가 수반되는 영상 쌍에 대한 조밀한 흐름 주석의 부족 문제를 해결하기 위해.
• 구면운동(SfM)에서 유도된 카메라 자세 추정치를 활용하여 광학 흐름 추정을 위한 약한 지도 학습 프레임워크를 개발하기 위해.
• 제안된 네트워크가 예측한 조도에 강인한 흐름을 통해 희소 기능 매칭을 향상시키기 위해.
• 실세계 환경에서 극단적인 조명 변화가 발생하는 상황에서 시각적 국소화 및 3D 복원과 같은 후속 작업을 향상시키기 위해.

제안 방법

• SfM에서 유도된 상대적 카메라 자세를 활용하여 대칭적 에피포라 거리를 계산하고, 이를 흐름 추정을 위한 약한 지도 신호로 활용한다.
• 예측된 흐름이 에피포라 선 상에 위치하도록 제약을 두는 대칭적 에피포라 거리 손실을 도입하여 선 상에서의 슬라이딩을 允허하면서 기하 일致성을 유지한다.
• 합성 기하 변환(예: 동차 변환)을 사용하여 픽셀 단위의 흐름 지도를 생성하고, 에피포라 손실과 보완하여 정확도를 향상시킨다.
• 양방향 흐름 학습(BiT 손실)을 적용하여 양방향에서 일致성을 강제함으로써 막힘 영역과 모호한 영역에 대한 내성 강화를 도모한다.
• 오차가 낮은 흐름 예측에만 사이클 일관성 적용하는 적응형 사이클 일관성(AC) 손실을 구현하여 막힘 영역에서의 오차 전파를 줄인다.
• 희소 기능 매칭을 두 단계로 안내한다: 첫 번째로 표준 기술자 사용, 두 번째로 LIFE가 예측한 흐름을 활용하여 매칭을 정밀화하여 모호성과 이방성 제거.

실험 결과

연구 질문

• RQ1 SfM 카메라 자세에서 유도된 대칭적 에피포라 거리 손실이 조도에 강인한 광학 흐름 학습을 위한 효과적인 약한 지도 신호가 될 수 있는가?
• RQ2 합성 기하 변환과 에피포라 제약 조건을 조합할 경우, 극단적인 조명 변화 조건에서 흐름 추정 정확도가 어떻게 향상되는가?
• RQ3 조도에 강인한 흐름을 사용할 경우, 내측자 비율 및 매칭 수 측면에서 희소 기능 매칭의 품질은 어느 정도 향상되는가?
• RQ4 제안된 프레임워크는 어려운 조명 조건에서 시각적 국소화와 같은 후속 작업을 향상시키는가?

주요 결과

• LIFE는 KITTI 및 HPatches 벤치마크에서 최신 기술 성능을 달성하여, HPatches-I(T)에서 평균 종단 오차 (AEPE)를 2.59로 감소시키고 KITTI 2015에서는 8.30을 기록한다.
• 대칭적 에피포라 거리 손실, BiT 손실, 적응형 사이클 일관성(SED+BiT+AC)의 조합이 가장 뛰어난 성능을 보이며 개별 구성 요소를 초월한다.
• LIFE+R2D2는 아펜하이머 야간 벤치마크에서 0.5m, 5° 기준으로 94.9%의 국소화 정확도를 달성하여 테스트된 모든 방법 중 1위를 기록한다.
• LIFE는 내측자 비율과 매칭 수를 증가시켜 희소 매칭을 향상시킨다: 예를 들어, R2D2 매칭 수는 LIFE 지도 매칭을 사용할 경우 1.8K에서 2.1K로 증가한다.
• LIFE 지도 매칭을 사용할 경우 매칭 수는 증가하지만 MMA는 약간 감소함을 확인하여, 보조 매칭은 정확도는 낮지만 수가 많아져 전체적인 강인성을 향상시킨다.
• 아펜하이머 야간 데이터셋에서 LIFE+R2D2는 5m, 10° 기준으로 100% 정확도를 달성하여 SuperGlue 및 기타 최신 기술 방법을 초월한다.