[논문 리뷰] HyperDet3D: Learning a Scene-conditioned 3D Object Detector

Yu Zheng, Yueqi Duan외 3명|arXiv (Cornell University)|2022. 04. 12.

Advanced Neural Network Applications인용 수 6

한 줄 요약

HyperDet3D는 초상기반 3D 객체 검출기로, 초상에 관계없는 지식과 초상에 특화된 지식을 하이퍼네트워크 기반 아키텍처를 통해 활용한다. 입력 초상 컨텍스트에 기반해 검출기 파라미터를 동적으로 조정하기 위해 다중 헤드 초상 특화 주의(MSA) 모듈을 사용함으로써, ScanNet과 SUN RGB-D에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 침대 및 화장실과 같은 도전적인 카테고리에서 뚜렷한 성능 향상을 보이고, 도메인 이동 상황에서도 일반화 성능이 뛰어나다.

ABSTRACT

A bathtub in a library, a sink in an office, a bed in a laundry room -- the counter-intuition suggests that scene provides important prior knowledge for 3D object detection, which instructs to eliminate the ambiguous detection of similar objects. In this paper, we propose HyperDet3D to explore scene-conditioned prior knowledge for 3D object detection. Existing methods strive for better representation of local elements and their relations without scene-conditioned knowledge, which may cause ambiguity merely based on the understanding of individual points and object candidates. Instead, HyperDet3D simultaneously learns scene-agnostic embeddings and scene-specific knowledge through scene-conditioned hypernetworks. More specifically, our HyperDet3D not only explores the sharable abstracts from various 3D scenes, but also adapts the detector to the given scene at test time. We propose a discriminative Multi-head Scene-specific Attention (MSA) module to dynamically control the layer parameters of the detector conditioned on the fusion of scene-conditioned knowledge. Our HyperDet3D achieves state-of-the-art results on the 3D object detection benchmark of the ScanNet and SUN RGB-D datasets. Moreover, through cross-dataset evaluation, we show the acquired scene-conditioned prior knowledge still takes effect when facing 3D scenes with domain gap.

연구 동기 및 목표

• 다른 환경에서 유사한 외관을 가진 객체로 인한 3D 객체 검출의 모호함을 해결하기 위해.
• 3D 검출기에 시나리오 수준의 사전 지식을 통합하여 검출 정확도와 강인성을 향상시키기 위해.
• 입력 시나리오 컨텍스트에 기반해 추론 시 검출기 파라미터를 동적으로 조정할 수 있도록 하기 위해.
• 도메인 갭이 존재하는 제로샷 및 크로스 데이터셋 설정에서 초상 조건 기반 지식의 효과성을 탐색하기 위해.

제안 방법

• HyperDet3D는 시나리오 컨텍스트에 따라 조건부로 검출기 가중치를 생성하기 위해 하이퍼네트워크 기반 아키텍처를 사용한다.
• 시나리오에 관계없는 임베딩(모든 시나리오에서 공유)과 개별 입력에 맞게 조정된 시나리오 특화 표현이라는 두 수준의 시나리오 조건 기반 지식을 학습한다.
• 다중 헤드 시나리오 특화 주의(MSA) 모듈이 시나리오 임베딩을 기반으로 동적 주의를 계산하여 검출기의 레이어 파라미터를 조절한다.
• 후기 융합을 통해 시나리오에 관계없는 지식과 시나리오 특화 지식을 융합하여 디코더의 객체 후보 특징을 안내한다.
• 투표 기반 회귀를 사용해 객체 중심과 오프셋을 회귀하는 검출 헤드와 함께 엔드 투 엔드로 네트워크를 훈련시킨다.
• 하이퍼네트워크에서 시나리오에 관계없는 지식과 시나리오 특화 지식 추출을 위해 단일 선형 레이어를 사용한다.

실험 결과

연구 질문

• RQ1 유사한 객체가 다양한 환경에서 존재할 때, 시나리오 조건 기반 사전 지식이 3D 객체 검출의 모호함을 줄일 수 있는가?
• RQ2 시나리오에 관계없는 지식과 시나리오 특화 지식의 통합이 표준 벤치마크에서 검출 정확도 향상에 얼마나 효과적인가?
• RQ3 제안된 방법은 도메인 갭이 존재하는, 예를 들어 크로스 데이터셋 평가와 같은 새로운 시나리오에 일반화되는가?
• RQ4 도메인 이동 상황을 다룰 때, 시나리오 특화 지식과 주의 기반 조절 간의 상대 기여도는 어떠한가?

주요 결과

• SUN RGB-D V1 검증 세트에서 HyperDet3D는 평균 정밀도(mAP) 47.3을 달성하여 이전 최신 기술 수준(SOTA) 메서드인 GF3D 및 Ours(45.2)를 초월한다.
• ScanNet V2 검증 세트에서 HyperDet3D는 mAP 58.9를 기록하여 GF3D(48.6)를 능가하며, 침대(78.9%) 및 화장실(71.4%) 카테고리에서 뚜렷한 향상을 보였다.
• 크로스 데이터셋 평가(사전 훈련: SUN RGB-D, Fine-tuning: ScanNet)에서 HyperDet3D는 강력한 성능 유지를 보이며 도메인 이동에 대한 강인성을 입증했다.
• 제거 실험 결과, MSA 모듈을 제거하면 mAP가 3.4% 감소하여, 단순히 시나리오 특화 지식보다 MSA 모듈의 기여도가 더 크다는 것을 확인했다.
• 침대, 책장, 화장실과 같은 시나리오 의존성 높은 카테고리에서 뚜렷한 성능 향상을 기록했다.
• bathtub 카테고리에서의 성능 저하(mAP: 59.1 vs. 64.0 in GF3D)는 희박한 애너테이션으로 인한 것으로 보이며, 데이터 부족이 한계 요인임을 시사한다.