[논문 리뷰] Achieving Real-Time LiDAR 3D Object Detection on a Mobile Device

Pu Zhao, Wei Niu외 8명|arXiv (Cornell University)|2020. 12. 26.

Advanced Neural Network Applications참고 문헌 61인용 수 5

한 줄 요약

이 논문은 모바일 기기에서 실시간 3D LiDAR 객체 탐지에 적합한 컴파일러 인지형 강화학습 기반 통합 프레임워크를 제안한다. 이 프레임워크는 각 레이어에 대해 최적의 커널 크기와 정규화 전략을 동적으로 선택함으로써, 삼성 갤럭시 S20에서 평균 97ms의 추론 시간을 달성하며 최신 기술 수준의 탐지 정확도를 확보한다. 이는 컴파일러 최적화된 추론을 통해 실시간 3D 탐지가 가능한 최초의 모바일 GPU 기반 솔루션이다.

ABSTRACT

3D object detection is an important task, especially in the autonomous driving application domain. However, it is challenging to support the real-time performance with the limited computation and memory resources on edge-computing devices in self-driving cars. To achieve this, we propose a compiler-aware unified framework incorporating network enhancement and pruning search with the reinforcement learning techniques, to enable real-time inference of 3D object detection on the resource-limited edge-computing devices. Specifically, a generator Recurrent Neural Network (RNN) is employed to provide the unified scheme for both network enhancement and pruning search automatically, without human expertise and assistance. And the evaluated performance of the unified schemes can be fed back to train the generator RNN. The experimental results demonstrate that the proposed framework firstly achieves real-time 3D object detection on mobile devices (Samsung Galaxy S20 phone) with competitive detection performance.

연구 동기 및 목표

• 자율주행 차량에서 사용되는 자원 제약이 있는 스마트폰과 같은 모바일 엣지 기기에서 실시간 3D 객체 탐지 기능을 가능하게 하기 위해.
• 기존 DNN 가속화 프레임워크에서 고정된 정규화 전략과 수동 하이퍼파라미터 튜닝의 한계를 극복하기 위해.
• 병렬 처리 및 실행 효율성을 고려하여 컴파일러 인지 최적화를 신경망 아키텍처 탐색 과정에 통합하기 위해.
• 엄격한 실시간 추론 제약 조건(예: <100ms)을 충족하면서도 높은 탐지 정확도를 달성하기 위해.
• 일관된 정규화 방식보다 더 유연하고 레이어별로 최적화된 네트워크 강화 및 정규화 전략이 속도와 정확도 측면에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• 각 레이어에 대해 네트워크 강화(예: 커널 크기 튜닝)와 정규화(예: 필터, 패턴, 블록 정규화) 조치를 통합한 검색 공간을 탐색하기 위해 생성기 RNN을 사용한다.
• 탐지 mAP와 추론 속도를 균형 잡는 보상 함수를 사용하며, 컴파일러 최적화된 코드 생성에서 피드백을 받아 강화학습을 구현한다.
• 컴파일러 인지 코드 생성을 통해 윈도우드 변환과 타일링과 같은 최적화 기법의 영향을 실제 추론 속도 측정을 통해 평가함으로써 검색 과정에서 현실적인 성능 추정이 가능해진다.
• 고차원 검색 공간을 효율적으로 탐색하기 위해 베이지안 최적화(Bayesian optimization, BO)를 적용하여 생성기 RNN의 학습을 가속화한다.
• 검색 공간에는 커널 크기 조정과 다양한 정규화 유형이 포함되어 있어 레이어별 최적화 전략을 허용한다.
• 검색은 KITTI 데이터셋 기반의 PointPillars 기반 3D 탐지 모델을 대상으로 하며, 추론 성능은 삼성 갤럭시 S20 모바일 GPU에서 측정된다.

실험 결과

연구 질문

• RQ1 컴파일러 인지 최적화를 통합한 통합 프레임워크가 모바일 GPU에서 실시간 3D 객체 탐지 달성을 위해 네트워크 강화와 정규화를 동시에 최적화할 수 있는가?
• RQ2 레이어별로 민감하게 조정 가능한 정규화 및 커널 크기 튜닝 전략이 일관된 정규화 방식보다 속도와 정확도 측면에서 뛰어나게 되는가?
• RQ3 컴파일러 최적화 피드백를 통한 강화학습이 고성능·저지연성 모델 탐색을 효과적으로 이끌 수 있는가?
• RQ4 커널 크기 튜닝과 윈도우드 변환 기법이 모바일 엣지 기기에서 추론 속도 향상에 어느 정도 기여하는가?
• RQ5 실시간 성능과 정확도 측면에서 기존 최신 기술 수준의 3D 탐지 모델과 비교했을 때 제안된 방법은 어떤가?

주요 결과

• 제안된 프레임워크는 삼성 갤럭시 S20 모바일 GPU에서 평균 97ms의 추론 시간을 기록하여 실시간 요구 조건(<100ms)을 충족한다.
• KITTI 데이터셋에서 76.38%의 mAP를 달성하여 원본 PointPillars 모델(어려운 셋 기준 84.05% mAP)과 다른 정규화 기반 모델들을 초월한다.
• 86%의 정규화 비율 조건에서, 필터 정규화(74.89% mAP)와 패턴 정규화(73.77% mAP)보다 더 뛰어난 탐지 성능을 확보한다.
• 서버 GPU(GTX 1080Ti) 환경에서는 18ms의 추론 시간을 기록하여 비-PointPillar 기반 방법들보다 최소 2.7배 빠르며 경쟁 가능한 정확도를 확보한다.
• 실시간 제약 조건을 90ms로 강화했을 경우에도 74.15%의 mAP를 유지하며 평균 89ms의 추론 속도를 기록하여 엄격한 지연 제약 조건에 대해 뛰어난 내재성과 유연성을 보인다.
• 기존 대부분의 방법들이 지원되지 않거나 최적화 불가능한 레이어(예: 3D 희소 컨볼루션)에 의존하는 데 반해, 본 프레임워크는 컴파일러 최적화를 완전히 통합한 최초의 모바일 GPU 기반 실시간 3D 객체 탐지 솔루션이다.