[논문 리뷰] Unsupervised Depth Learning in Challenging Indoor Video: Weak Rectification to Rescue.

Jia-Wang Bian, Huangying Zhan외 4명|arXiv (Cornell University)|2020. 06. 04.

Advanced Vision and Imaging참고 문헌 54인용 수 31

한 줄 요약

이 논문은 핸드헬드 실내 영상에서의 비지도 깊이 추정 실패 원인을 분석하여, 주로 회전 운동이 지배하는 열악한 자가 운동(ego-motion)이 핵심 장애물임을 규명한다. 이를 바탕으로 회전 노이즈를 억제하고 평행 이동 성분의 지도 신호를 유지하기 위해 약한 이미지 정규화(weak image rectification) 기법을 제안하며, 이를 통해 존재하는 비지도 모델로도 NYUv2에서 0.147의 AbsRel 성능을 달성하여 최신 기술 수준에 도달한다.

ABSTRACT

Single-view depth estimation using CNNs trained from unlabelled videos has shown significant promise. However, the excellent results have mostly been obtained in street-scene driving scenarios, and such methods often fail in other settings, particularly indoor videos taken by handheld devices, in which case the ego-motion is often degenerate, i.e., the rotation dominates the translation. In this work, we establish that the degenerate camera motions exhibited in handheld settings are a critical obstacle for unsupervised depth learning. A main contribution of our work is fundamental analysis which shows that the rotation behaves as noise during training, as opposed to the translation (baseline) which provides supervision signals. To capitalise on our findings, we propose a novel data pre-processing method for effective training, i.e., we search for image pairs with modest translation and remove their rotation via the proposed weak image rectification. With our pre-processing, existing unsupervised models can be trained well in challenging scenarios (e.g., NYUv2 dataset), and the results outperform the unsupervised SOTA by a large margin (0.147 vs. 0.189 in the AbsRel error).

연구 동기 및 목표

• 비지도 깊이 추정 방법이 주행 시나리오에서는 성공함에도 불구하고 핸드헬드 실내 영상 환경에서는 왜 실패하는지 조사하기 위해.
• 자기 운동에서 회전이 평행 이동을 지배하는 '열악한 자가 운동(degenerate ego-motion)'이 비지도 깊이 학습 실패의 주요 원인임을 규명하기 위해.
• 이미지 쌍에서 회전 성분을 제거함으로써 학습 신호의 품질을 향상시키는 사전 처리 방법을 개발하기 위해.
• 기존의 비지도 깊이 모델이 높은 난이도를 요구하는 실내 벤치마크(예: NYUv2)에서 최신 기술 수준의 성능을 달성할 수 있도록 하기 위해.

제안 방법

• 저자들은 학습 도중 회전이 노이즈로 작용하고 평행 이동이 유용한 지도 신호를 제공한다는 기본 분석을 수행한다.
• 이미지 쌍 간의 회전이 최소화된 경우를 식별하고, 호모지어피 기반 변환을 통해 회전 성분을 제거하는 약한 이미지 정규화 방법을 제안한다.
• 일정 수준의 평행 이동을 가지는 이미지 쌍을 선택하고, 추정된 운동 기반으로 이미지를 정렬하는 정규화 과정을 적용함으로써 회전 왜곡을 효과적으로 억제한다.
• 정규화된 이미지 쌍은 비지도 깊이 학습에서 지도 신호의 품질을 향상시키기 위해 학습 데이터의 사전 처리에 사용된다.
• 이 방법은 표준 비지도 깊이 모델 학습 이전에 적용되는 사전 처리 단계로, 아키텍처 수정 없이도 구현 가능하다.
• 지오메트릭 제약 조건과 운동 추정에 기반하여 지도된 깊이 정보가 없이도 회전 성분을 식별하고 보정한다.

실험 결과

연구 질문

• RQ1 비지도 깊이 추정 모델이 주행 시나리오에서는 뛰어난 성능을 보이지만 핸드헬드 실내 영상 환경에서는 왜 실패하는가?
• RQ2 자기 운동에서의 회전이 비지도 깊이 학습 성능에 어느 정도 악영향을 미치는가?
• RQ3 이미지 쌍에서 회전 성분을 제거하는 사전 처리 단계가 비지도 깊이 학습의 학습 신호를 향상시킬 수 있는가?
• RQ4 기존의 비지도 깊이 모델이 정규화된 데이터로 학습할 경우, NYUv2와 같은 실내 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 약한 정규화가 회전 노이즈를 억제하면서도 평행 이동 지도 신호를 효과적으로 유지하는가?

주요 결과

• 핸드헬드 실내 영상에서의 회전은 비지도 깊이 학습 도중 노이즈로 작용하여 모델 성능을 떨어뜨린다.
• 평행 이동은 신뢰할 수 있는 지도 신호를 제공하는 반면, 회전은 학습 과정을 방해한다.
• 제안된 약한 정규화 방법은 이미지 쌍에서 회전 성분을 성공적으로 제거하여 학습 신호의 품질을 향상시킨다.
• 정규화된 데이터로 학습한 기존 비지도 모델은 NYUv2 데이터셋에서 AbsRel 오차 0.147을 기록하며 이전 최고 성능(SOTA)을 크게 앞서간다.
• 아키텍처 수정 없이도 사전 처리를 통해 최신 기술 수준의 성능을 달성함으로써, 난이도 높은 실내 환경에서 사전 처리의 효과를 입증한다.
• 성능 향상의 이유는 정규화 이후 평행 이동 운동이 신뢰할 수 있는 지도 신호로 유지되었기 때문임을 규명했다.