[논문 리뷰] Monocular 3D Detection with Geometric Constraints Embedding and Semi-supervised Training

Peixuan Li|arXiv (Cornell University)|2020. 09. 02.

Advanced Neural Network Applications참고 문헌 47인용 수 13

한 줄 요약

이 논문은 RGB 이미지에서만 정확한 3D 위치 추정을 가능하게 하기 위해 기하학적 제약 조건을 미분 가능한 방식으로 통합한 단일 스텝, 엔드 투 엔드 단안 3D 객체 검출 프레임워크인 KM3D-Net을 제안한다. 이는 2D 키포인트, 치수, 방향을 동시에 예측할 수 있도록 하여, 완전 컨volution 레이어 기반의 네트워크에 기하학적 제약 조건을 통합한다. 또한 키포인트 드롭아웃과 애핀 변환을 통한 일致성 정규화를 활용한 새로운 준지도 학습 전략을 통해 KITTI에서 레이블이 13%인 경우에도 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

In this work, we propose a novel single-shot and keypoints-based framework for monocular 3D objects detection using only RGB images, called KM3D-Net. We design a fully convolutional model to predict object keypoints, dimension, and orientation, and then combine these estimations with perspective geometry constraints to compute position attribute. Further, we reformulate the geometric constraints as a differentiable version and embed it into the network to reduce running time while maintaining the consistency of model outputs in an end-to-end fashion. Benefiting from this simple structure, we then propose an effective semi-supervised training strategy for the setting where labeled training data is scarce. In this strategy, we enforce a consensus prediction of two shared-weights KM3D-Net for the same unlabeled image under different input augmentation conditions and network regularization. In particular, we unify the coordinate-dependent augmentations as the affine transformation for the differential recovering position of objects and propose a keypoints-dropout module for the network regularization. Our model only requires RGB images without synthetic data, instance segmentation, CAD model, or depth generator. Nevertheless, extensive experiments on the popular KITTI 3D detection dataset indicate that the KM3D-Net surpasses all previous state-of-the-art methods in both efficiency and accuracy by a large margin. And also, to the best of our knowledge, this is the first time that semi-supervised learning is applied in monocular 3D objects detection. We even surpass most of the previous fully supervised methods with only 13\% labeled data on KITTI.

연구 동기 및 목표

• 깊이 학습과 투시 투영 기하학 제약 조건을 통합하여 단안 3D 검출의 불완전한 성질을 해결한다.
• 학습 중 기울기 전파를 방해하는 후처리 기하학 제약 조건의 한계를 극복한다.
• SVD를 활용해 기하학 제약 조건을 미분 가능한 과잉 결정 시스템으로 재구성함으로써 엔드 투 엔드 학습을 가능하게 한다.
• 3D 애노테이션이 부족한 상황에서 비정규화된 데이터를 효과적으로 활용하기 위해 준지도 학습 전략을 개발한다.
• LiDAR, 깊이 감독, CAD 모델, 또는 합성 데이터 없이도 높은 정확도와 효율성을 달성한다.

제안 방법

• 단일 RGB 이미지에서 2D 객체 키포인트, 치수, 방향을 예측하기 위해 병렬 헤드를 갖춘 완전 컨volution 레이어 기반의 네트워크를 설계한다.
• 투시 투영 제약 조건을 SVD를 통해 해결하는 미분 가능한 과잉 결정 시스템으로 재구성하여 기하학적 추론을 통한 역전파를 가능하게 한다.
• 미분 가능한 기하학 모듈을 네트워크 내부에 직접 통합하여 외관 및 공간 예측의 엔드 투 엔드 최적화를 실현한다.
• 학습 중 키포인트를 무작위로 제거하는 키포인트 드롭아웃 모듈을 제안하여 네트워크를 정규화하고, 이를 활성화가 아닌 명시적 특징으로 간주한다.
• 좌표 기반의 증강 기법(예: 애핀 변환)을 적용하여 동일한 이미지의 여러 시각을 생성하고 일치성 정규화를 수행한다.
• 공유 가중치를 사용해 증강된 시각 간의 예측 일致성을 강제하여 준지도 학습에서 Pi-Model 전략을 모방한다.

실험 결과

연구 질문

• RQ1 기하학적 제약 조건을 딥 네트워크에 효과적으로 통합하여 단안 3D 검출 정확도를 향상시킬 수 있는가?
• RQ2 기하학적 추론을 엔드 투 엔드로 학습 가능하게 하여 2D 키포인트 예측과 3D 위치 추정 간의 일致성을 유지할 수 있는가?
• RQ3 준지도 학습이 단안 3D 검출에 효과적으로 적용되어 고비용 3D 애노테이션에 대한 의존도를 줄일 수 있는가?
• RQ4 제한된 감독 조건 하에서 기반 키포인트 기반 기하학 공식화가 기존의 2D 바운딩 박스 회귀 방식을 능가하는가?
• RQ5 깊이 감독, LiDAR, 또는 합성 데이터 없이도 경량의 단일 스테이지 네트워크가 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• KM3D-Net은 KITTI 3D 검출 벤치마크에서 모든 이전 방법을 능가하는 최신 기술 수준의 성능을 달성했으며, 정확도와 추론 속도 양면에서 뛰어난 성능을 보였다.
• 레이블 데이터의 13%만을 사용해도 KM3D-Net은 중간 설정에서 3D AP 75.78%를 달성했으며, 대부분의 완전히 감독된 방법을 능가했다.
• 기하학적 제약 조건을 활용한 2D-3D-2D 파라다임은 2D-2D 검출 성능과 유사한 결과를 도출하여 기하학적 추론 모듈의 효과를 입증했다.
• 제안된 준지도 학습 전략은 낮은 감독 조건 하에서 성능을 크게 향상시켜 자원이 부족한 환경에서 효과적임을 입증했다.
• 모델은 카테고리 간에 잘 일반화되어 있으며, 자전거 기사의 경우 중간 설정에서 BEV AP 88.77%를 기록했고, 보행자에 대해서는 10.12%를 기록하여 클래스 불균형에 대한 강건성을 보였다.
• 정성적 결과에서는 히트맵 기반 키포인트 검출보다 회귀된 키포인트가 더 우수한 성능을 보였으며, 특히 부분적으로 가려진 또는 잘린 객체 처리에서 뛰어난 성능을 보였다.