[논문 리뷰] Reinforced Axial Refinement Network for Monocular 3D Object Detection

Lijie Liu, Chufan Wu외 4명|arXiv (Cornell University)|2020. 08. 31.

Advanced Neural Network Applications참고 문헌 50인용 수 6

한 줄 요약

이 논문은 단일 영상에서 3D 객체 검출 박스를 한 번에 하나의 축성분을 조정하면서 반복적으로 개선하는 강화학습 기반의 후처리 프레임워크인 강화된 축 정밀화 네트워크(RAR-Net)를 제안한다. KITTI에서 최대 18.25%까지 3D 평균 정밀도를 향상시키며, 계산 오버헤드는 최소한으로 유지하여 샘플링 효율성과 검출 정확도 향상에 뚜렷한 기여를 한다.

ABSTRACT

Monocular 3D object detection aims to extract the 3D position and properties of objects from a 2D input image. This is an ill-posed problem with a major difficulty lying in the information loss by depth-agnostic cameras. Conventional approaches sample 3D bounding boxes from the space and infer the relationship between the target object and each of them, however, the probability of effective samples is relatively small in the 3D space. To improve the efficiency of sampling, we propose to start with an initial prediction and refine it gradually towards the ground truth, with only one 3d parameter changed in each step. This requires designing a policy which gets a reward after several steps, and thus we adopt reinforcement learning to optimize it. The proposed framework, Reinforced Axial Refinement Network (RAR-Net), serves as a post-processing stage which can be freely integrated into existing monocular 3D detection methods, and improve the performance on the KITTI dataset with small extra computational costs.

연구 동기 및 목표

• 3D 공간에서 희박한 양성 샘플로 인한 낮은 샘플링 효율성 문제 해결
• 제어 가능한 축성분 조정을 통해 초기 예측을 개선하여 3D 검출 정확도 향상
• 기존 단일 영상 3D 검출기와 호환되는 즉시 사용 가능한 정밀화 모듈 개발
• 다중 단계에서의 누적 3D-IoU 향상 최대화를 위해 강화학습을 활용한 정밀화 정책 최적화
• 2D 이미지 특징과 3D 검출 박스 기하학적 구조를 융합한 효과적인 상태 표현 설계로 향상된 가이던스 제공

제안 방법

• 각 동작이 3D 경계상자 축성분(x, y, z, 너비, 높이, 두께) 중 하나를 수정하는 마르코프 결정 과정(MDP)으로 3D 정밀화 과정을 수립
• 기본 RGB 이미지에 현재 3D 박스의 색상 코딩된 2D 투영도를 연결하여 6채널 입력을 사용한 딥 Q네트워크(DQN)
• 6개의 3D 성분 각각에 대해 이산적인 단계로 동작 공간 정의로 안정적이고 해석 가능한 조정 가능
• 편향된 진짜값 박스를 통해 밀도 있는 지도 학습을 제공하고, 효율적인 RL 사전학습을 위한 합성 경로 생성
• 다중 정밀화 단계에 걸쳐 누적되는 3D-IoU 기반의 밀도 있는 보상 신호를 사용해 정책을 종합적으로 최적화
• 모든 단일 영상 3D 검출기 후처리 모듈로 RAR-Net 통합하여 최소한의 지연 시간으로 즉시 사용 가능한 배포 가능

실험 결과

연구 질문

• RQ1 강화학습에 의해 이끌리는 반복적 축 정밀화가 단일 영상 환경에서 3D 검출 정확도를 뚜렷이 향상시킬 수 있는가?
• RQ2 2D 이미지와 3D 박스 투영도를 융합한 상태 표현의 설계가 정밀화 성능에 어떤 영향을 미치는가?
• RQ3 이산 동작 공간과 스텝 크기가 정밀화 과정의 수렴성과 정확도에 미치는 영향은 어떠한가?
• RQ4 3D 박스 정밀화에서 강화학습이 직접 회귀나 히우리스틱 정밀화 전략보다 얼마나 뛰어나게 성능을 향상시키는가?
• RQ5 제안된 방법이 추론 속도 저하 없이 경량 후처리 모듈로 효율적으로 구현 가능한가?

주요 결과

• RAR-Net은 GS3D 기반 모델에 적용했을 때 KITTI 3D 객체 검출 벤치마크에서 3D 평균 정밀도(3D AP)를 최대 18.25% 향상시킨다.
• 단지 0.3초의 추가 추론 시간으로 3D AP를 4% 상승시켜 기반 검출기의 2초 대비 훨씬 낮은 비용으로 성능 향상을 달성한다.
• 제어 가능한 스텝 크기를 가진 이산 축 정밀화는 불안정한 최적화로 실패하는 연속적 회귀보다 성능이 뛰어나다.
• 3D 박스를 색상 코딩된 2D 이미지로 투영하는 제안된 이미지 강화 방법은 단순한 특징 융합보다 성능 향상에 뚜렷한 기여를 한다.
• 절충적인 정밀화 궤적 최적화를 위해 강화학습이 필수적임을 아블레이션 연구에서 입증되었으며, 지도학습이나 히우리스틱 기반 베이스라인을 뛰어넘는 성능 향상을 보였다.
• 정밀화 단계 수와 스텝 크기의 조합은 정확도와 속도에 강력한 영향을 미치며, 더 작은 스텝 크기일수록 더 높은 정확도를 얻을 수 있으나 추론 시간이 증가한다.