[논문 리뷰] 2nd Place Solution for Waymo Open Dataset Challenge -- Real-time 2D Object Detection

Yueming Zhang, Xiaolin Song외 9명|arXiv (Cornell University)|2021. 06. 16.

Advanced Neural Network Applications참고 문헌 9인용 수 6

한 줄 요약

이 논문은 YOLOR 기반 모델과 스케일 강화, 다중 모델 앙상블 전략을 활용하여 자율 주행을 위한 실시간 2D 객체 검출 프레임워크를 제안한다. 테슬라 V100 GPU에서 45.8ms의 추론 지연으로 Waymo Open Dataset 챌린지에서 75.00% L1 mAP와 69.72% L2 mAP를 기록하며 2등을 차지하였다.

ABSTRACT

In an autonomous driving system, it is essential to recognize vehicles, pedestrians and cyclists from images. Besides the high accuracy of the prediction, the requirement of real-time running brings new challenges for convolutional network models. In this report, we introduce a real-time method to detect the 2D objects from images. We aggregate several popular one-stage object detectors and train the models of variety input strategies independently, to yield better performance for accurate multi-scale detection of each category, especially for small objects. For model acceleration, we leverage TensorRT to optimize the inference time of our detection pipeline. As shown in the leaderboard, our proposed detection framework ranks the 2nd place with 75.00% L1 mAP and 69.72% L2 mAP in the real-time 2D detection track of the Waymo Open Dataset Challenges, while our framework achieves the latency of 45.8ms/frame on an Nvidia Tesla V100 GPU.

연구 동기 및 목표

• 엄격한 지연 제약 조건을 가진 자율 주행 환경에서 실시간 2D 객체 검출 문제를 해결한다.
• 일반적인 검출 파이프라인에서 자주 누락되는 소형 객체—특히 차량과 보행자—의 검출 정확도를 향상시킨다.
• Waymo Open Dataset에서 높은 mAP 성능을 유지하면서 추론 속도를 최적화한다.
• 다양한 객체 카테고리에 걸쳐 속도와 정확도의 균형을 잡고도 견고하고 확장 가능한 검출 프레임워크를 개발한다.
• Waymo Open Dataset 챌린지의 실시간 2D 검출 트랙에서 최고 성능을 달성한다.

제안 방법

• COCO에서 높은 정확도와 우수한 실시간 성능를 보이는 YOLOR을 기반 검출기로 채택한다.
• 이미지의 중심 영역을 자르고 1.5배로 확대하여 소형 객체 검출 성능을 향상시키기 위해 스케일 강화 기법을 적용한다.
• 기존 이미지와 확대된 스케일을 각각 입력으로 사용하는 별도의 모델을 훈련시켜 다중 스케일 검출 능력을 향상시킨다.
• 테슬라 V100에서 45.8ms/프레임의 추론 지연을 달성하기 위해 TensorRT를 활용한 모델 최적화를 수행한다.
• 카테고리별 IoU 임계값(차량: 0.75, 보행자/자전거: 0.55)을 적용한 클래스 인식 비최대 억제 기법을 구현한다.
• YOLOR-W6(차량/보행자 검출에 강점)와 YOLOR-P6(자전거 검출에 강점)의 예측 결과를 조합하여 전체 mAP 성능을 향상시키기 위해 모델 앙상블 전략을 적용한다.

실험 결과

연구 질문

• RQ1 자율 주행을 위한 실시간 2D 객체 검출에서 소형 객체 검출 성능을 어떻게 향상시킬 수 있는가?
• RQ2 스케일 강화 및 다중 스케일 입력 전략이 소형 객체 검출 성능에 미치는 영향은 무엇인가?
• RQ3 다양한 YOLOR 변종 간의 모델 앙상블은 모든 객체 카테고리의 mAP에 어떻게 기여하는가?
• RQ4 앵커 클러스터링 기법은 Waymo Open Dataset에 효과적으로 적용될 수 있는가, 아니면 클래스 불균형으로 인해 성능이 저하되는가?
• RQ5 Waymo Open Dataset에서 실시간 2D 검출 성능에서 추론 속도와 mAP 사이의 최적의 트레이드오프는 무엇인가?

주요 결과

• 스케일 강화 전략은 미니-밸리 데이터셋에서 mAP를 1.88% 향상시켜 소형 객체 검출 성능을 크게 향상시켰다.
• 최종 모델 앙상블은 미니-밸리 데이터셋에서 66.67%의 mAP를 기록하여 기준 모델(61.54%) 대비 5.13% 향상되었다.
• Waymo Open Dataset 랭킹에서 L1 mAP 75.00%, L2 mAP 69.72%를 달성하여 2등을 차지하였다.
• TensorRT 최적화를 통해 추론 지연을 45.8ms/프레임으로 감소시켜 실시간 제약 조건인 70ms/프레임을 충족시켰다.
• 기존 이미지와 확대된 스케일을 별도로 입력으로 사용하는 독립적 훈련 전략이 소형 객체 검출의 강건성을 향상시켰다.
• YOLOR-W6는 차량과 보행자 검출에서 YOLOR-P6를 능가했고, YOLOR-P6는 자전거 검출에서 더 우수한 성능를 보여, 앙상블 전략의 타당성을 입증하였다.