[논문 리뷰] V-DETR: DETR with Vertex Relative Position Encoding for 3D Object Detection

Yichao Shen, Zigang Geng외 7명|arXiv (Cornell University)|2023. 08. 08.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 DETR 기반의 3D 객체 검출 프레임워크인 V-DETR를 제안하며, 예측된 3D 박스의 정점에 대한 점들의 상대적 위치를 인코딩하는 새로운 3D 정점 상대 위치 인코딩(3DV-RPE)을 도입하여 주의 분포의 국소화 성능을 향상시킨다. 이 방법은 ScanNetV2 및 SUN RGB-D에서 최고 성능을 기록하며, AP_{25}/AP_{50}를 각각 77.8%/66.0%로 향상시켜 이전의 3DETR 및 완전 컨볼루션 기반 방법들을 뛰어넘는다.

ABSTRACT

We introduce a highly performant 3D object detector for point clouds using the DETR framework. The prior attempts all end up with suboptimal results because they fail to learn accurate inductive biases from the limited scale of training data. In particular, the queries often attend to points that are far away from the target objects, violating the locality principle in object detection. To address the limitation, we introduce a novel 3D Vertex Relative Position Encoding (3DV-RPE) method which computes position encoding for each point based on its relative position to the 3D boxes predicted by the queries in each decoder layer, thus providing clear information to guide the model to focus on points near the objects, in accordance with the principle of locality. In addition, we systematically improve the pipeline from various aspects such as data normalization based on our understanding of the task. We show exceptional results on the challenging ScanNetV2 benchmark, achieving significant improvements over the previous 3DETR in $ m{AP}_{25}$/$ m{AP}_{50}$ from 65.0\%/47.0\% to 77.8\%/66.0\%, respectively. In addition, our method sets a new record on ScanNetV2 and SUN RGB-D datasets.Code will be released at http://github.com/yichaoshen-MS/V-DETR.

연구 동기 및 목표

• DETR를 사용한 3D 객체 검출에서 쿼리가 먼 점들에 주의를 기울여 국소성 원칙을 위반하는 주의 분포의 부정확성 문제를 해결하기 위해.
• 제한된 훈련 데이터 상황에서도 트랜스포머의 인덕티브 바이어스 학습을 향상시키기 위해.
• 예측된 3D 박스 정점에 대한 상대적 위치 기반으로 명확하고 일관된 위치 정보를 제공하는 위치 인코딩 기법을 설계하기 위해.
• 객체 기반 정규화 및 아키텍처 개선을 포함한 체계적 파이프라인 개선을 통해 모델 성능을 향상시키기 위해.
• 기존의 완전 컨볼루션 및 주의 기반 방법들을 능가하는 강력한 DETR 기반 기준 모델을 3D 실내 객체 검출에 구축하기 위해.

제안 방법

• 각 디코더 레이어에서 쿼리가 예측한 3D 박스의 여덟 정점에 대한 상대적 오프셋을 기반으로 각 3D 점에 대한 위치 인코딩을 계산하는 3DV-RPE를 도입한다.
• 각 객체를 기준 객체 공간으로 변환하여 3D 박스가 좌표계와 일치하도록 회전시켜, 다양한 방향에서의 위치 인코딩 일관성과 일반화 성능을 확보한다.
• FPN 넥을 갖춘 희소 3D ResNet-34를 백본 인코더로 사용하고, 3DV-RPE를 사용한 셔플링 컨볼루션 주의를 갖는 트랜스포머 디코더를 적용한다.
• 장면 기반 정규화 대비 안정성을 향상시키기 위해 3D 경계 상자(parameterize)를 객체 기반 정규화로 설정한다.
• 최근 2D DETR에서의 발전 사례인 쿼리 초기화 및 훈련 스케줄링을 3D 포인트 클라우드 환경에 적응시킨다.
• FPN 넥에서 바이트 볼륨 확장을 피하여 원래의 3D 표면 세부 정보를 유지하고, 이러한 연산에 의존하는 방법들보다 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 예측된 3D 박스 정점에 대한 상대적 위치 기반으로 학습 가능한 위치 인코딩이 3D 객체 검출에서 주의 분포의 국소화 성능을 향상시킬 수 있는가?
• RQ2 객체를 기준 객체 공간으로 변환하면 위치 인코딩의 일관성과 일반화 성능이 향상되는가?
• RQ3 3DV-RPE는 3D 박스 마스크나 단순 위치 인코딩과 같은 다른 주의 조절 기법과 비교해 성능 및 주의 분포 측면에서 어떻게 성능을 내는가?
• RQ4 객체 기반 정규화 및 훈련 스케줄링과 같은 파이프라인 수준의 개선 조치가 3D DETR의 성능 향상에 얼마나 기여하는가?
• RQ5 순수한 DETR 기반 아키텍처가 ScanNetV2 및 SUN RGB-D와 같은 도전적인 벤치마크에서 완전 컨볼루션 3D 검출 방법들을 능가할 수 있는가?

주요 결과

• V-DETR는 ScanNetV2 벤치마크에서 77.8%의 AP_{25}와 66.0%의 AP_{50}를 기록하여 이전의 3DETR 기준선(65.0% 및 47.0%)보다 뚜렷한 향상을 보였다.
• 이 방법은 ScanNetV2 및 SUN RGB-D 데이터셋 양쪽에서 새로운 최고 성능 기록을 수립하여 다양한 도메인 간 강력한 일반화 성능을 입증했다.
• 3DV-RPE는 주의 맵을 통해 진정한 박스 외부 영역의 주의를 감소시키며, 주의 가중치가 흐린 객체 경계에 집중됨을 확인했다.
• 객체 기반 정규화는 장면 기반 정규화 대비 AP_{50}를 3.9%p 향상시켜 3D 검출에서의 안정성 향상에 기여하는 바가 크다는 점을 입증했다.
• 바이트 볼륨 확장은 DETR 기반 모델의 성능을 떨어뜨리며, V-DETR가 이러한 연산에 의존하는 방법들보다 표면 세부 정보를 더 잘 유지함을 확인했다.
• 장기적인 훈련(540 에포크) 조건에서도 3DV-RPE와 3D 박스 마스크 간 성능 격차가 유지되어 3DV-RPE의 우월성을 확인했다.