[논문 리뷰] Real-Time Anchor-Free Single-Stage 3D Detection with IoU-Awareness

Runzhou Ge, Zhuangzhuang Ding외 5명|arXiv (Cornell University)|2021. 07. 29.

Advanced Neural Network Applications참고 문헌 26인용 수 6

한 줄 요약

이 논문은 웨이모 오픈 데이터셋 챌린지 2021에서 최신 기술 수준 성능을 달성한 실시간, 앵커리스, 단일 단계 3D 객체 검출 모델인 AFDetV2를 제시한다. 라이트웨이트 3D 특징 추출기, 확장된 수신장이 있는 자기 캘리브레이션 컨볼루션 기반 RPN, 그리고 새로운 IoU 인식(confidence) 브랜치를 통합함으로써, 모델은 60.06ms 지연 시간과 함께 73.12 mAPH/L2의 성능을 달성하였으며, 실시간 3D 검출 부문에서 1등을 차지하고, 라이트웨이트 버전으로서 55.86ms 지연 시간과 72.57 mAPH/L2로 '가장 효율적인 모델' 상을 수상하였다.

ABSTRACT

In this report, we introduce our winning solution to the Real-time 3D Detection and also the "Most Efficient Model" in the Waymo Open Dataset Challenges at CVPR 2021. Extended from our last year's award-winning model AFDet, we have made a handful of modifications to the base model, to improve the accuracy and at the same time to greatly reduce the latency. The modified model, named as AFDetV2, is featured with a lite 3D Feature Extractor, an improved RPN with extended receptive field and an added sub-head that produces an IoU-aware confidence score. These model enhancements, together with enriched data augmentation, stochastic weights averaging, and a GPU-based implementation of voxelization, lead to a winning accuracy of 73.12 mAPH/L2 for our AFDetV2 with a latency of 60.06 ms, and an accuracy of 72.57 mAPH/L2 for our AFDetV2-base, entitled as the "Most Efficient Model" by the challenge sponsor, with a winning latency of 55.86 ms.

연구 동기 및 목표

• 웨이모 오픈 데이터셋 챌린지 2021의 70ms 이내 추론 제약 조건을 충족하는 실시간, 단일 단계, 앵커리스 3D 객체 검출기를 개발하기 위해.
• 특히 실시간 환경에서의 도전적인 상황에서 모델 복잡도나 지연 시간을 증가시키지 않고 검출 정확도를 향상시키기 위해.
• 국소화 품질 향상과 검출 신뢰도 추정을 향상시키기 위해 IoU 인식 신뢰도 브랜치를 도입하기 위해.
• GPU 기반 바이트화 파이프라인과 경량 3D 특징 추출기를 통해 추론 속도를 최적화하기 위해.
• 낮은 지연 시간을 유지하면서도 가장 높은 mAPH/L2 점수를 확보하여 챌린지에서 최고의 성과를 내기 위해.

제안 방법

• 초기 단계의 잔차 블록 수를 줄이고 채널 너비를 늘린 라이트웨이트 3D 특징 추출기를 통해 계산 비용을 감소시키면서도 특징 표현을 유지한다.
• 수신장 확장을 위해 RPN에 자기 캘리브레이션 컨볼루션(SC-Conv) 모듈을 통합하고, 효율적인 채널 및 공간 주의 메커니즘을 도입한다.
• 앵커리스 검출 헤드에 새로운 IoU 인식(confidence) 예측 헤드를 추가하여 국소화 정확도 추정을 향상시킨다.
• 학습 안정성 향상과 국소화 정확도 향상을 위해 关键점 보조 감독을 도입한다.
• 포인트 클라우드 전처리의 지연 시간을 줄이기 위해 GPU 가속 바이트화 파이프라인을 구현한다.
• 일반화 및 강건성 향상을 위해 학습 중 스트로스틱 웨이트 평균화와 데이터 증강 기법을 적용한다.

실험 결과

연구 질문

• RQ1 앵커리스, 단일 단계 3D 검출기가 70ms 이내 실시간 추론를 유지하면서도 높은 정확도를 달성할 수 있는 방법은 무엇인가?
• RQ2 IoU 인식 신뢰도 브랜치는 검출 성능과 국소화 품질에 어떤 영향을 미치는가?
• RQ3 감소된 다운샘플링을 가진 경량 3D 특징 추출기가 검출 정확도를 유지하면서도 지연 시간을 줄일 수 있는가?
• RQ4 SC-Conv 모듈과 보조 감독은 모델 성능 향상과 학습 안정성에 어떤 기여를 하는가?
• RQ5 실시간 3D 검출에서 모델 크기, 추론 속도, mAPH/L2 정확도 사이의 상충 관계는 어떠한가?

주요 결과

• AFDetV2는 웨이모 오픈 데이터셋 테스트 세트에서 60.06ms 지연 시간과 함께 73.12 mAPH/L2의 성능을 달성하여 실시간 3D 검출 챌린지에서 1등을 차지하였다.
• AFDetV2-Base 버전은 55.86ms 지연 시간과 함께 72.57 mAPH/L2를 기록하여 '가장 효율적인 모델' 상을 수상하였다.
• 모든 다른 모듈이 활성화된 상태에서 IoU 인식 신뢰도 브랜치만으로도 기준 모델 대비 mAPH/L2가 2.79점 향상되었다.
• SC-Conv RPN은 기준 모델 대비 1.06 mAPH/L2 향상으로 특징 학습에서의 효과를 입증하였다.
• AFDetV2-Lite 버전은 오직 46.90ms 지연 시간으로 69.95 mAPH/L2의 성능을 기록하였으며, 70.00 mAPH/L2 기준선을 略로 밑도는 것으로 강력한 효율성을 보였다.
• 스트로스틱 웨이트 평균화와 풍부한 데이터 증강 기법이 모든 모델 버전에서 일반화 및 강건성 향상에 기여하였다.