[논문 리뷰] GSNet: Joint Vehicle Pose and Shape Reconstruction with Geometrical and Scene-aware Supervision

Lei Ke, Shichao Li외 3명|arXiv (Cornell University)|2020. 07. 26.

Advanced Vision and Imaging참고 문헌 68인용 수 5

한 줄 요약

GSNet은 기하 일관성과 환경 인지 제약을 조합한 하이브리드 손실을 사용하여 단일 RGB 이미지에서 6차원 차량 자세를 동시 추정하고 세밀한 3D 자동차 형태를 재구성하는 엔드 투 엔드 딥 러닝 프레임워크이다. 새로운 4방향 특징 융합 기법을 통해 ApolloCar3D 벤치마크에서 1352개 정점 메시와 18.36° 평균 각도 오차를 기록하며, 정확도와 속도 면에서 이전 방법들을 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We present a novel end-to-end framework named as GSNet (Geometric and Scene-aware Network), which jointly estimates 6DoF poses and reconstructs detailed 3D car shapes from single urban street view. GSNet utilizes a unique four-way feature extraction and fusion scheme and directly regresses 6DoF poses and shapes in a single forward pass. Extensive experiments show that our diverse feature extraction and fusion scheme can greatly improve model performance. Based on a divide-and-conquer 3D shape representation strategy, GSNet reconstructs 3D vehicle shape with great detail (1352 vertices and 2700 faces). This dense mesh representation further leads us to consider geometrical consistency and scene context, and inspires a new multi-objective loss function to regularize network training, which in turn improves the accuracy of 6D pose estimation and validates the merit of jointly performing both tasks. We evaluate GSNet on the largest multi-task ApolloCar3D benchmark and achieve state-of-the-art performance both quantitatively and qualitatively. Project page is available at https://lkeab.github.io/gsnet/.

연구 동기 및 목표

• 도시 주행 환경에서 단일 RGB 이미지로부터 정확한 6차원 차량 자세와 3D 형태 추정 문제를 해결하기 위해.
• 영역 중심(ROI) 특징 추출을 초월하여 기하학적 및 가시성 정보를 포함한 다양한 시각적 특징을 통합함으로써 성능을 향상시키기 위해.
• 기하 일관성과 환경 수준 제약을 강제하는 다목적 손실을 도입하여 감독의 모호성을 줄이기 위해.
• 밀도 높은 메시 표현을 통해 자세와 형태 재구성의 공동 최적화가 상호 성능 향상에 기여하는지 입증하기 위해.
• 해당 도메인에 대한 미세조정 없이도 KITTI와 같은 새로운 데이터셋으로의 일반화 능력을 검증하기 위해.

제안 방법

• GSNet은 영역 중심(ROI) 특징 외에도 이미지로부터 유도된 기하학적 및 가시성 인지 특징을 융합하는 4방향 특징 추출 및 융합 기법을 사용한다.
• 1352개 정점과 2700개 면을 가진 고해상도 메시로 3D 차량 형태를 표현하는 분할-정복 전략을 적용하여 세밀한 재구성 가능하다.
• 기하 일관성 항목(66개의 정점 기반 키포인트 투영 기반)과 환경 수준 제약(상호 차량 및 차량-환경 관계)을 강제하는 하이브리드 다목적 손실 함수를 설계하였다.
• 네트워크는 단일 순방향 추론에서 6D 자세와 3D 형태 파라미터를 직접 회귀함으로써 실시간 추론을 가능하게 한다.
• 강력한 3D 형태 애너테이션과 기하 제약 조건에서 유도된 강력한 감독을 통해 ApolloCar3D 벤치마크에서 엔드 투 엔드로 훈련된다.
• 예측을 정규화하기 위해 사영 기하학을 활용하여 마스크 기반 손실 대비 자세 추정의 모호성을 감소시킨다.

실험 결과

연구 질문

• RQ1 ROI 특징 외의 다양한 시각적 특징 통합이 단일 이미지에서의 6D 자세 및 3D 형태 추정 성능 향상에 기여하는가?
• RQ2 키포인트 투영을 통한 기하 일관성 강제가 마스크 기반 손실 대비 3D 자세 회귀의 모호성을 줄이는가?
• RQ3 상호 차량 및 차량-환경 관계를 포함한 환경 수준 제약이 네트워크의 일반화 능력과 정확도 향상에 기여하는가?
• RQ4 자세와 형태 재구성의 공동 최적화가 분리된 접근 대비 상호 성능 향상에 기여하는가?
• RQ5 밀도 높은 메시 표현이 더 효과적인 감독을 가능하게 하고 6D 자세 추정 정확도 향상에 기여하는가?

주요 결과

• GSNet은 ApolloCar3D 벤치마크에서 평균 각도 오차 18.36°를 기록하며, 이는 이전 최신 기술 수준 방법 대비 중앙값 각도 오차 감소 20%를 달성하였다.
• 분할-정복 형태 모듈을 사용하여 ApolloCar3D 검증 세트에서 Rel-mAP 20.2를 달성하였으며, 검색 기반 및 단일 PCA 기반 형태 표현 대비 유의미하게 뛰어난 성능을 보였다.
• Pascal3D+에서 GSNet은 $Acc_{\pi/6}$ 0.98과 중앙값 각도 오차 2.4°를 기록하였으며, 3D-RCNN의 3.0° 오차를 초월하였다.
• 모델은 미세조정 없이도 KITTI 데이터셋으로의 일반화 능력이 뛰어나, 정성적 결과에서 정확한 3D 재구성을 생성하였다.
• 제거 실험 결과, 4방향 특징 융합과 하이브리드 손실 함수가 성능에 핵심적임을 확인하였으며, 특징 융합 제거 시 주요 지표에서 10% 이상 성능 저하가 발생하였다.
• 밀도 높은 메시 표현은 66개의 투영 키포인트를 통한 효과적인 기하학적 감독을 가능하게 하여 마스크 기반 손실의 모호성을 감소시키고 자세 추정의 강건성을 향상시켰다.