[논문 리뷰] SPG: Unsupervised Domain Adaptation for 3D Object Detection via Semantic Point Generation

Qiangeng Xu, Yin Zhou외 3명|arXiv (Cornell University)|2021. 08. 15.

Advanced Neural Network Applications참고 문헌 71인용 수 11

한 줄 요약

이 논문은 비가 오는 날씨로 인해 발생하는 포인트 손실로 인해 저품질 라이다 포인트 클라우드에서 전경 객체의 일부가 손실된 경우를 고려해, 손실된 부분을 복구하기 위해 의미적 포인트를 생성하는 새로운 비지도 도메인 적응 방법인 의미적 포인트 생성(SPG)을 제안한다. SPG는 원본 포인트 클라우드에 생성된 의미적 포인트를 추가하여 다양한 도메인 간 검출 성능을 향상시키며, KITTI에서 최신 기준 성능을 달성하고, Waymo의 도메인 적응 벤치마크에서 유의미한 AP 향상을 이룩한다. 추론 오버헤드는 최소한이다.

ABSTRACT

In autonomous driving, a LiDAR-based object detector should perform reliably at different geographic locations and under various weather conditions. While recent 3D detection research focuses on improving performance within a single domain, our study reveals that the performance of modern detectors can drop drastically cross-domain. In this paper, we investigate unsupervised domain adaptation (UDA) for LiDAR-based 3D object detection. On the Waymo Domain Adaptation dataset, we identify the deteriorating point cloud quality as the root cause of the performance drop. To address this issue, we present Semantic Point Generation (SPG), a general approach to enhance the reliability of LiDAR detectors against domain shifts. Specifically, SPG generates semantic points at the predicted foreground regions and faithfully recovers missing parts of the foreground objects, which are caused by phenomena such as occlusions, low reflectance or weather interference. By merging the semantic points with the original points, we obtain an augmented point cloud, which can be directly consumed by modern LiDAR-based detectors. To validate the wide applicability of SPG, we experiment with two representative detectors, PointPillars and PV-RCNN. On the UDA task, SPG significantly improves both detectors across all object categories of interest and at all difficulty levels. SPG can also benefit object detection in the original domain. On the Waymo Open Dataset and KITTI, SPG improves 3D detection results of these two methods across all categories. Combined with PV-RCNN, SPG achieves state-of-the-art 3D detection results on KITTI.

연구 동기 및 목표

• 비가 오는 조건과 같은 라이다 포인트 클라우드 품질이 떨어지는 도메인 간 전이 시 3D 객체 검출기의 성능 저하 문제를 해결하기 위해.
• 타겟 도메인의 애너테이션을 필요로 하지 않는 일반적이고 즉시 사용 가능한 비지도 도메인 적응(UDA) 방법을 개발하기 위해.
• 환경 조건이 크게 변하는 실세계 자율주행 시나리오에서 검출 신뢰도를 향상시키기 위해.
• 재학습 없이도 새로운 지리적 및 기상 조건에 효과적으로 적응할 수 있도록 하기 위해.

제안 방법

• SPG는 사전 학습된 검출기를 사용해 입력 포인트 클라우드의 전경 영역을 식별하고, 이러한 영역 내에서 의미적 포인트를 생성하여 손실된 부분을 복구한다.
• 배경 영역을 마스킹하고 전경 객체 영역에 집중하여 포인트 생성을 수행하기 위해 '숨기고 예측하기(Hide and Predict)' 전략을 사용한다.
• 포인트 생성 위치를 결정하기 위해 학습된 확률 맵을 사용하며, 신뢰도 점수는 생성 과정을 이끌어낸다.
• 빈 전경 바voxels에 포인트 생성을 장려하는 가중치 손실을 적용하여 완전성과 충실도를 균형 잡는다.
• 생성된 의미적 포인트는 원본 포인트 클라우드와 병합되어 후속 검출기용 증강 입력으로 사용된다.
• 이 방법은 효율적이며, 1080Ti GPU에서 추가 파라미터는 0.39M개, 지연 시간은 17ms 미만이다.

실험 결과

연구 질문

• RQ1 다른 기상 조건을 가진 도메인 간 전이 시 3D 객체 검출기 성능 저하의 주요 원인은 무엇인가?
• RQ2 타겟 도메인 애너테이션을 전혀 사용하지 않고도 일반적인 비지도 방법이 3D 검출 성능을 향상시킬 수 있는가?
• RQ3 라이다 리턴이 손실되어 부분적으로 관측된 3D 객체의 경우 의미적 포인트 생성이 얼마나 효과적인가?
• RQ4 SPG는 동시에 원천 도메인과 타겟 도메인의 검출 성능을 얼마나 향상시킬 수 있는가?
• RQ5 확률 임계값 및 가중치 요소와 같은 하이퍼파라미터 중 SPG 성능에 가장 큰 영향을 미치는 것은 무엇인가?

주요 결과

• Waymo 도메인 적응 벤치마크에서 PointPillars를 사용한 자동차 검출 시, SPG는 어려움 수준이 낮은, 중간, 높은 경우 각각 2.02%, 2.97%, 3.67%의 AP 향상을 달성한다.
• PV-RCNN를 사용한 보행자 검출 시, SPG는 타겟 도메인에서 어려움 수준이 낮은 경우 5.40%의 AP 향상, 중간 수준 5.13%, 높은 수준 4.48%의 향상을 기록한다.
• KITTI 데이터셋에서 SPG는 PV-RCNN와 함께 사용하여 최신 기준의 3D 객체 검출 성능을 달성하며, 원천 도메인에서도 효과성을 입증한다.
• 제거 실험 결과, '숨기고 예측하기' 전략과 의미적 영역 확장, 전경 신뢰도 가중치를 조합할 경우 기준 모델 대비 +6.91%의 AP 향상이 이루어졌다.
• 포인트 선택을 위한 확률 임계값으로 0.5를 사용할 경우 최적의 성능을 기록하였으며, 전경 복구와 배경 노이즈 억제 간 균형을 잘 잡는다.
• SPG는 추가로 0.39M개의 파라미터와 17ms 미만의 지연 시간만을 추가하여 자율주행 시스템에서 실시간 배포에 적합하다.