[논문 리뷰] CAM-Convs: Camera-Aware Multi-Scale Convolutions for Single-View Depth

José M. Fácil, Benjamin Ummenhofer외 4명|arXiv (Cornell University)|2019. 04. 03.

Advanced Vision and Imaging참고 문헌 50인용 수 6

한 줄 요약

이 논문은 단일 뷰 깊이 추정을 위한 딥 네ural 네트워크에 카메라 내재 매개변수를 통합하는 새로운 컨볼루션 레이어인 CAM-Convs를 제안한다. 이를 통해 다양한 카메라 모델 간의 일반화가 가능해지며, 특징 맵과 함께 카메라 매개변수를 융합함으로써, 재학습 없이도 하나의 네트워크가 다양한 카메라에서 높은 정확도를 유지할 수 있다. 시험된 미사용 카메라 내재 매개변수에 대해서도 최신 기술보다 뚜렷이 뛰어난 성능을 발휘한다.

ABSTRACT

Single-view depth estimation suffers from the problem that a network trained on images from one camera does not generalize to images taken with a different camera model. Thus, changing the camera model requires collecting an entirely new training dataset. In this work, we propose a new type of convolution that can take the camera parameters into account, thus allowing neural networks to learn calibration-aware patterns. Experiments confirm that this improves the generalization capabilities of depth prediction networks considerably, and clearly outperforms the state of the art when the train and test images are acquired with different cameras.

연구 동기 및 목표

• 다른 카메라 모델의 이미지를 테스트할 때 단일 뷰 깊이 추정 네트워크의 일반화 부족 문제를 해결하기 위해.
• 재학습이나 아키텍처 변경 없이도 여러 카메라 내재 매개변수에서 잘 작동하는 단일 깊이 예측 네트워크를 가능하게 하기 위해.
• 현재 네트워크가 훈련 데이터에 따라 특정 카메라 매개변수에 과적합되는 한계를 극복하기 위해.
• 새로운 카메라 모델에서 성능 저하 없이 어떤 카메라의 이미지도 효율적으로 활용할 수 있도록 하기 위해.

제안 방법

• 각 레이어에서 특징 맵과 함께 카메라 내재 매개변수(focal length, principal point)를 연결하는 수정된 컨볼루션 레이어인 CAM-Convs를 도입한다.
• 네트워크의 초기 단계에서 카메라 매개변수를 통합하여 특징 추출 과정에서 카메라별 패턴을 학습할 수 있도록 한다.
• 다중 척도 인코더-디코더 아키텍처를 사용하며, CAM-Convs를 여러 수준에 적용하여 공간적 및 기하학적 일致성을 유지한다.
• NYUv2, KITTI, MegaDepth 등 다양한 카메라에서의 데이터셋 혼합으로 훈련하여, 다른 내재 매개변수와 데이터 분포를 가진 데이터셋에 대해 훈련한다.
• MegaDepth와 같이 상대적 깊이 진짜값을 가진 데이터셋에 대해 척도 불변 손실 함수를 적용하여 절대 깊이 척도에 의한 편향을 방지한다.
• 이미지 자르기 및 크기 조정을 통해 훈련 데이터를 증강하여 센서 크기와 초점 거리의 다양성을 증가시킨다.

실험 결과

연구 질문

• RQ1 재학습 없이도 단일 깊이 예측 네트워크가 다른 카메라 모델 간에 일반화될 수 있는가?
• RQ2 네트워크 아키텍처에 카메라 내재 매개변수를 통합하면 미사용된 카메라 내재 매개변수로의 일반화가 향상되는가?
• RQ3 다양한 내재 매개변수를 가진 다양한 카메라에서 훈련된 네트워크가, 훈련 중에 본 바와 다른 카메라의 테스트 이미지에서 높은 정확도를 유지할 수 있는가?
• RQ4 기본 네트워크에서 카메라 매개변수 정보가 누락되면 카메라 매개변수가 변할 경우 성능 저하가 발생하는가?

주요 결과

• CAM-Convs는 일반화를 크게 향상시킨다: SOTA 모델이 단지 NYUv2에서만 훈련된 것과 비교해, 6개의 다른 카메라 구성(포함해 미사용된 것들)에서 평균 오차와 분산이 모두 낮다.
• NYUv2를 제외한 다수의 데이터셋으로 훈련된 네트워크가, NYUv2 테스트 세트에서 SOTA 모델 [21]을 초월한다. 이는 NYUv2에서 훈련되지 않았음에도 불구하고 강력한 일반화 능력을 보여준다.
• CAM-Convs를 적용한 네트워크는 다양한 이미지 해상도와 카메라 내재 매개변수에서도 일관된 깊이 예측을 유지하지만, 베이스라인 모델 [21]은 일반화에 실패하여 내재 매개변수 변화 시 높은 오차 분산을 보인다.
• 카메라 매개변수 통합이 없으면, 다양한 내재 매개변수를 가진 혼합 데이터셋에서 훈련할 경우 네트워크가 수렴하지 못함을 확인하여, 校정 인식 학습의 필요성을 강조한다.
• 정성적 결과로, CAM-Convs는 NYUv2, KITTI, MegaDepth 데이터셋에서 이미지 자르기 또는 크기 조정을 통해 다른 카메라를 시뮬레이션해도 안정적이고 정확한 깊이 예측을 생성한다.
• 이 방법은 새로운 카메라 모델에서 성능 저하 없이 다양한 실제 이미지를 효과적으로 활용할 수 있도록 하여, 훈련에 활용할 수 있다.