[논문 리뷰] Task-Aware Monocular Depth Estimation for 3D Object Detection

Xinlong Wang, Wei Yin외 4명|arXiv (Cornell University)|2019. 09. 17.

Advanced Vision and Imaging참고 문헌 41인용 수 8

한 줄 요약

이 논문은 전경과 배경의 깊이를 별도로 최적화하는 독립적인 디코더와 손실 함수를 사용하는 작업 인지형 단안 깊이 추정 방법인 ForeSeE를 제안한다. 이는 3D 객체 검출 정확도를 크게 향상시킨다. 전경 깊이에 전용 목표를 두어 KITTI 3D 객체 검출 벤치마크에서 7.5 AP 향상을 달성하며, 단안 방법 중 최신 기준을 수립한다.

ABSTRACT

Monocular depth estimation enables 3D perception from a single 2D image, thus attracting much research attention for years. Almost all methods treat foreground and background regions ("things and stuff") in an image equally. However, not all pixels are equal. Depth of foreground objects plays a crucial role in 3D object recognition and localization. To date how to boost the depth prediction accuracy of foreground objects is rarely discussed. In this paper, we first analyse the data distributions and interaction of foreground and background, then propose the foreground-background separated monocular depth estimation (ForeSeE) method, to estimate the foreground depth and background depth using separate optimization objectives and depth decoders. Our method significantly improves the depth estimation performance on foreground objects. Applying ForeSeE to 3D object detection, we achieve 7.5 AP gains and set new state-of-the-art results among other monocular methods. Code will be available at: https://github.com/WXinlong/ForeSeE.

연구 동기 및 목표

• 기존 단안 깊이 추정 방법이 전경 객체에서 최적의 성능을 내지 못하는 문제를 해결하기 위해.
• 단일 이미지 깊이 예측에서 전경과 배경 깊이의 데이터 분포 및 상호작용의 차이를 조사하기 위해.
• 배경 성능을 떨어뜨리지 않고도 전경 깊이 정확도를 향상시키는 방법을 개발하기 위해.
• 후속 3D 검출 작업에서 작업 인지형 깊이 추정의 효과성을 입증하기 위해.
• 향후 전경 중심 깊이 추정 연구를 위한 벤치마크와 공정한 기준을 설정하기 위해.

제안 방법

• ForeSeE는 전경과 배경 영역에 대해 별도의 디코더를 사용하여 서로 다른 깊이 표현을 학습한다.
• 전경과 배경 픽셀에 다른 최적화 목표를 적용하는 전경-배경 분리 손실 함수를 사용한다.
• 두 디코더의 예측을 통합하는 단순하면서도 효과적인 융합 전략을 도입하여 통합된 깊이 맵을 생성한다.
• 전경 영역은 인스턴스 세그멘테이션 마스크를 사용하여 식별되며, 이는 전경 전용 디코더의 훈련을 안내한다.
• 예측된 깊이 맵을 사용해 3D 포인트 클라우드를 생성하는 페시브-LiDAR 파이프라인에 방법을 통합한다.
• 모델은 검출 헤드를 수정하지 않고 KITTI-Object 훈련 세트에서 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 단안 깊이 추정에서 전경과 배경 깊이의 데이터 분포는 어떻게 다른가?
• RQ2 기본 깊이 추정 네트워크에서 전경과 배경 깊이를 동일하게 취급할 경우 어떤 영향을 미치는가?
• RQ3 별도의 최적화 목표와 디코더를 사용하면 배경 성능을 해치지 않고도 전경 객체의 깊이 정확도를 향상시킬 수 있는가?
• RQ4 향상된 전경 깊이 추정은 3D 객체 검출 성능에 얼마나 기여하는가?
• RQ5 제안된 방법은 다양한 3D 객체 검출기 간에 일반화 가능한가?

주요 결과

• AVOD 검출기 사용 시 KITTI 3D 객체 검출 벤치마크에서 ForeSeE는 BEV 지표에서 15.0에서 23.4 AP로 7.5 AP 향상을 달성한다.
• F-PointNet 검출기 사용 시 ForeSeE-PL은 쉬운 수준에서 3.6 AP 향상, 보통 수준에서 7.5 AP 향상 달성한다.
• 이 방법은 전경 깊이 정확도를 크게 향상시켜 3D 검출에서의 위치 및 형태 왜곡 문제를 줄인다.
• 기본 모델은 표준 깊이 추정을 사용해 AVOD에서 BEV 기준 19.0 AP를 기록하지만, ForeSeE-PL은 이를 23.4 AP로 향상시킨다.
• 정성적 결과에서는 더 적은 수의 빠진 검출과 더 정확한 3D 경계 상자(특히 자동차 등 전경 객체에서)를 보여준다.
• 이 방법은 배경 깊이 품질을 유지하거나 약간 향상시키며, 전경 최적화가 전체 성능을 떨어뜨리지 않음을 확인한다.