[논문 리뷰] Moving Indoor: Unsupervised Video Depth Learning in Challenging Environments

Junsheng Zhou, Yuwang Wang외 2명|arXiv (Cornell University)|2019. 10. 20.

Advanced Vision and Imaging참고 문헌 47인용 수 10

한 줄 요약

이 논문은 도메인 특화된 실내 환경에서 깊이 추정 성능을 햖스키기 위해 광학 흐름을 감독 신호로 활용하는 새로운 비지도 비디오 깊이 학습 프레임워크를 제안한다. 희소에서 조밀한 흐름 추정 네트워크를 도입하고 자세 추정을 개선함으로써, NYU Depth V2 벤치마크에서 완전 지도 학습 방법과 비교할 만한 성능을 달성하였으며, 실내 데이터셋에서 순수 비지도 학습의 첫 번째 정량적 결과를 보고한다.

ABSTRACT

Recently unsupervised learning of depth from videos has made remarkable progress and the results are comparable to fully supervised methods in outdoor scenes like KITTI. However, there still exist great challenges when directly applying this technology in indoor environments, e.g., large areas of non-texture regions like white wall, more complex ego-motion of handheld camera, transparent glasses and shiny objects. To overcome these problems, we propose a new optical-flow based training paradigm which reduces the difficulty of unsupervised learning by providing a clearer training target and handles the non-texture regions. Our experimental evaluation demonstrates that the result of our method is comparable to fully supervised methods on the NYU Depth V2 benchmark. To the best of our knowledge, this is the first quantitative result of purely unsupervised learning method reported on indoor datasets.

연구 동기 및 목표

• 비문자 영역과 복잡한 카메라 운동으로 인해 기존 비지도 깊이 학습 방법이 실내 환경에서 실패하는 문제를 해결하기 위해.
• 광학 흐름을 광학 일致성보다 더 신뢰할 수 있는 감독 신호로 사용하여 비지도 학습의 난이도를 줄이기 위해.
• 흰 벽과 반사성 표면 같은 비문자 영역을 효과적으로 처리할 수 있는 강력한 희소에서 조밀한 광학 흐름 네트워크를 개발하기 위해.
• 특히 순수 회전 운동이 많은 휴대용 카메라 시퀀스의 자세 추정을 향상시키기 위해.
• 비지도 깊이 학습이 단지 외부 주행 시나리오가 아닌 일반적인 실내 환경에서도 효과적으로 작동할 수 있음을 입증하기 위해.

제안 방법

• 직접적인 광학 일치성 대신 광학 흐름을 감독 신호로 사용하는 새로운 학습 프레임워크를 제안하여 학습의 불안정성을 감소시킨다.
• CNN 기반의 정밀화 모듈을 사용해 이미지 전역에 걸쳐 희소 광학 흐름 시드를 전파하는 희소에서 조밀한 흐름 추정 네트워크(SF-Net)를 설계한다.
• 순수 회전 운동을 포함한 이미지 쌍을 제거하기 위한 필터링 메커니즘을 도입하여 학습 중 네트워크의 붕괴를 방지한다.
• 휴대용 카메라에서 흔히 발생하는 복잡한 비정방향 운동을 더 잘 처리할 수 있도록 새로운 아키텍처(F-PoseNet)를 설계한 PoseNet을 개선한다.
• 추정된 흐름을 DepthNet과 PoseNet 양쪽을 동시에 감독하기 위해 활용하여 깊이 예측 정확도를 향상시킨다.
• 다단계 학습 파이프라인을 사용한다: 먼저 합성 데이터에서 SF-Net을 사전 학습하고, 이후 실제 실내 비디오 시퀀스를 사용해 DepthNet과 PoseNet을 공동으로 학습한다.

실험 결과

연구 질문

• RQ1 실내 환경의 비지도 깊이 학습에서 광학 일치성보다 광학 흐름이 더 신뢰할 수 있는 감독 신호로 기능할 수 있는가?
• RQ2 흰 벽과 같은 비문자 영역은 비지도 깊이 추정에서 어떻게 효과적으로 처리될 수 있는가?
• RQ3 휴대용 카메라 시퀀스에서의 순수 회전 운동은 비지도 깊이 학습에 어떤 영향을 미치며, 이를 어떻게 완화할 수 있는가?
• RQ4 희소에서 조밀한 흐름 추정 네트워크는 도전적인 실내 환경에서 깊이 예측 성능을 향상시킬 수 있는가?
• RQ5 실내 데이터셋에서 순수 비지도 영상 학습만으로도 완전 지도 학습 방법과 비교할 만한 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 오직 비지도 영상 학습만을 사용하여 NYU Depth V2 벤치마크에서 최고 성능을 달성하였으며, 평균 절대 오차(MAE)는 0.117, 평균 제곱근 오차(RMSE)는 0.234를 기록하였다.
• 절단 분석 결과, 흐름 감독과 순수 회전 필터링이 실내 환경에서의 학습 붕괴를 방지하는 데 필수적임을 확인하였다.
• SF-Net은 흰 벽과 카펫과 같은 비문자 영역에서도 고품질의 광학 흐름 예측을 수행함을 시각화 결과를 통해 입증하였다.
• F-PoseNet 버전은 복잡한 운동을 포함한 시퀀스에서 표준 PoseNet 대비 자세 추정 정확도가 크게 향상됨을 보였다.
• KITTI 데이터셋에서도 흐름 정확도가 한계가 되는 상황이었음에도 불구하고 성능이 양호하여, 다양한 도메인 간 이식 가능성임을 시사하였다.
• 모델는 큰 비문자 영역과 복잡한 자세 운동에 대해 강건성을 보이며, NYU Depth V2에서 완전 지도 학습 방법과 비교할 만한 성능을 달성하였다.