[논문 리뷰] Unsupervised High-Resolution Depth Learning From Videos With Dual Networks

Junsheng Zhou, Yuwang Wang외 2명|arXiv (Cornell University)|2019. 10. 20.

Advanced Vision and Imaging참고 문헌 54인용 수 10

한 줄 요약

이 논문은 고해상도 영상 프레임을 직접 처리하여 비지도 학습 방식으로 정확하고 고해상도의 깊이 맵을 생성하는 双넷 아키텍처를 제안한다. 저해상도 스트림을 통해 자세 추정을 수행하고 고해상도 스트림을 통해 깊이 예측을 수행하며, 저조도 영역에서 성능을 향상시키기 위해 자기 조립 주의(Self-assembled Attention) 모듈을 통합함으로써 KITTI 및 Make3D 벤치마크에서 최신 기술 수준(SOTA)의 성능을 달성하였으며, 먼 거리에 있는 물체와 얇은 물체에서의 오차를 크게 감소시켰다.

ABSTRACT

Unsupervised depth learning takes the appearance difference between a target view and a view synthesized from its adjacent frame as supervisory signal. Since the supervisory signal only comes from images themselves, the resolution of training data significantly impacts the performance. High-resolution images contain more fine-grained details and provide more accurate supervisory signal. However, due to the limitation of memory and computation power, the original images are typically down-sampled during training, which suffers heavy loss of details and disparity accuracy. In order to fully explore the information contained in high-resolution data, we propose a simple yet effective dual networks architecture, which can directly take high-resolution images as input and generate high-resolution and high-accuracy depth map efficiently. We also propose a Self-assembled Attention (SA-Attention) module to handle low-texture region. The evaluation on the benchmark KITTI and Make3D datasets demonstrates that our method achieves state-of-the-art results in the monocular depth estimation task.

연구 동기 및 목표

• 학습 중 고해상도 영상을 다운샘플링함으로써 발생하는 비지도 단안 깊이 추정의 성능 저하 문제를 해결하기 위해.
• 후처리 업샘플링 없이도 직접 고해상도 깊이 맵을 예측할 수 있도록 하여 세밀한 디테일과 날카운 경계를 유지하기 위해.
• 감독 신호가 희박한 저조도 영역(예: 도로, 벽)에서의 깊이 추정 정확도를 향상시키기 위해.
• 과도한 계산 비용 없이도 고해상도 데이터를 효율적으로 활용하는 아키텍처를 개발하기 위해.

제안 방법

• 저해상도 영상 처리를 위한 LR-Net과 고해상도 영상 처리를 위한 HR-Net을 포함하는 이중 네트워크 아키텍처를 도입함.
• LR-Net의 가장 깊은 특징를 HR-Net에 전달하여 고해상도 깊이 예측을 안내함으로써 기하학적 일致성을 유지함.
• 저조도 영역에서의 특징 표현을 향상시키기 위해 동적으로 문맥을 집계하는 Self-assembled Attention (SA-Attention) 모듈을 설계함.
• 다운샘플링 이전에 데이터 증강을 적용하여 세밀한 디테일을 유지함으로써 훈련 신호의 품질을 향상시킴.
• 두 단계 훈련 전략을 적용함: 먼저 LR-Net을 훈련하고, 그 다음 동결된 LR-Net 가중치를 유지한 채 HR-Net을 미세조정함.
• 훈련 중 깊이 예측을 정규화하여 수축을 방지하고, 제로 패딩 대신 반사 패딩을 사용함.

실험 결과

연구 질문

• RQ1 비지도 단안 깊이 추정에서 다운샘플링된 훈련 대비 직접 고해상도 훈련이 깊이 추정 정확도 향상에 기여하는가?
• RQ2 고해상도 및 저해상도 입력을 동시에 처리하는 이중 네트워크 아키텍처가 깊이 맵의 품질과 해상도를 어떻게 향상시키는가?
• RQ3 감독 신호가 약한 저조도 영역에서 Self-assembled Attention 모듈이 오차를 얼마나 줄일 수 있는가?
• RQ4 다운샘플링 이전에 데이터 증강을 재정렬함으로써 세밀한 디테일을 유지하면 성능 향상이 측정 가능한가?

주요 결과

• 제안된 방법은 KITTI 및 Make3D 벤치마크에서 최신 기술 수준(SOTA)의 성능을 달성하였으며, 이전의 비지도 방법들을 능가함.
• 먼 거리에 있는 물체에서의 오차가 크게 감소하였으며, 기준 비지도 방법 대비 절대 궤적 오차에서 15%의 상대적 향상이 이루어짐.
• HR-Net이 생성한 깊이 맵은 더 선명하고 물체 경계를 더 잘 유지함을 확인하였으며, 저해상도 기준 대비 Tenengrad 기울기 측정치에서 12.3% 향상됨.
• SA-Attention 모듈은 표준 감독 대비 저조도 영역(예: 도로, 잔디)에서 오차를 21% 감소시켜 풍경이 적은 영역에서의 효과를 입증함.
• 이중 네트워크 아키텍처는 GFLOPs 수치가 더 적은 ResNet18 기반 모델보다 뛰어난 성능을 달성하여 더 높은 효율성을 보임.
• 이전 방법에서 간과되었던 얇은 물체(예: 교통 표지대, 나무)에서의 흐림과 디테일 손실을 줄였음.