[논문 리뷰] Identifying Unknown Instances for Autonomous Driving

Kelvin Wong, Shenlong Wang외 3명|arXiv (Cornell University)|2019. 10. 24.

Advanced Neural Network Applications참고 문헌 49인용 수 16

한 줄 요약

이 논문은 LiDAR 포인트 클라우드를 위한 새로운 딥러닝 방법인 오픈셋 인스턴스 세그멘테이션(OSIS)을 제안한다. 이 방법은 클러스터링을 위해 포인트를 카테고리에 의존하지 않는 임베딩 공간으로 투영함으로써 알려진 객체와 알려지지 않은 객체를 모두 세그멘테이션한다. 이 방법은 두 개의 대규모 자율주행 데이터셋에서 베이스라인을 능가하며, 인스턴스 인식 임베딩과 기하학적 단서를 동시에 활용함으로써 오픈셋 인스턴스 세그멘테이션 분야에서 최고 성능을 달성한다.

ABSTRACT

In the past few years, we have seen great progress in perception algorithms, particular through the use of deep learning. However, most existing approaches focus on a few categories of interest, which represent only a small fraction of the potential categories that robots need to handle in the real-world. Thus, identifying objects from unknown classes remains a challenging yet crucial task. In this paper, we develop a novel open-set instance segmentation algorithm for point clouds which can segment objects from both known and unknown classes in a holistic way. Our method uses a deep convolutional neural network to project points into a category-agnostic embedding space in which they can be clustered into instances irrespective of their semantics. Experiments on two large-scale self-driving datasets validate the effectiveness of our proposed method.

연구 동기 및 목표

• 자율주행 인식 시스템에서 알려지지 않은 객체를 탐지하고 세그멘테이션하는 데 있어 핵심적인 과제를 해결하기 위해.
• 사전에 카테고리 지식이 없이도 알려진 클래스와 알려지지 않은 클래스를 모두 처리할 수 있는 통합 오픈셋 인스턴스 세그멘테이션 프레임워크를 개발하기 위해.
• 인간 시각에 영감을 받은 인지적 그룹화 원칙을 활용하여 로봇이 새로운 객체를 일관된 인스턴스로 그룹화할 수 있도록 하기 위해.
• 의도치 않은 또는 희귀한 객체(예: 동물, 공사 장비 등)가 자주 등장하는 실제 주행 환경에서의 강건성을 향상시키기 위해.
• 신뢰할 수 있는 알려지지 않은 인스턴스 클러스터링을 위해 인스턴스 인식 임베딩과 기하학적 사전 지식을 통합하기 위해.

제안 방법

• 카테고리에 의존하지 않는 인스턴스 임베딩 네트워크가 3D LiDAR 포인트를 동일한 인스턴스의 포인트가 어떤 의미 클래스이든 클러스터링될 수 있는 공유된 임베딩 공간으로 투영한다.
• 이 방법은 인스턴스 내부의 유사도를 최적화하고 인스턴스 간의 이질성을 증가시키기 위해 분류 기반 손실을 사용한다.
• 예측된 인스턴스 위치를 정밀화하고 정위치 정확도를 향상시키기 위해 경계 상자 회귀를 통합한다.
• 임베딩 공간 내의 불확실성을 모델링하고 클러스터링의 강건성을 향상시키기 위해 각 프로토타입에 대해 스칼라 분산을 예측한다.
• 알려진 인스턴스는 알려진 클래스의 프로토타입 특징과 포인트 임베딩 간의 거리 기반 매칭을 통해 식별된다.
• 할당되지 않은 나머지 포인트들은 임베딩 거리와 3D 기하학적 거리의 하이브리드 거리 측정법을 사용한 DBSCAN을 통해 알려지지 않은 인스턴스로 클러스터링된다.

실험 결과

연구 질문

• RQ1 카테고리 특화의 감독 없이도 딥러닝 모델이 LiDAR 포인트 클라우드에서 알려진 객체와 알려지지 않은 객체 인스턴스를 효과적으로 세그멘테이션할 수 있는가?
• RQ2 인지적 그룹화 원칙을 딥 네트워크에 어떻게 활용하여 알려지지 않은 객체에서 일관된 인스턴스를 형성할 수 있는가?
• RQ3 어떤 임베딩 특징과 기하학적 사전 지식의 조합이 알려지지 않은 인스턴스의 클러스터링에서 가장 강건한 성능을 낼 수 있는가?
• RQ4 상향식 클래스 인식 특징과 하향식 인스턴스 클러스터링을 통합하면 오픈셋 세그멘테이션 성능에 어떻게 기여하는가?
• RQ5 알려지지 않은 인스턴스 클러스터링에서 인스턴스 인식 임베딩이 3D 위치나 의미적 특징과 같은 대안적 포인트 수준 특징보다 얼마나 뛰어나게 성능을 내는가?

주요 결과

• OSIS는 nuScenes와 TOR4D 데이터셋 모두에서 최고 성능을 기록하며, 오픈셋 인스턴스 세그멘테이션 분야에서 모든 베이스라인을 능가한다.
• TOR4D 검증 세트에서 OSIS는 68.6%의 Unknown Instance Quality(UQ), 73.7%의 Recall Quality(RQ), 93.1%의 Segmentation Quality(SQ)를 기록하여 다른 방법들과는 뚜렷한 성능 격차를 보였다.
• 절단 실험을 통해 분류 기반 손실, 경계 상자 회귀, 프로토타입 별 분산 예측이라는 세 가지 구성 요소가 성능 향상에 기여한다는 것이 확인되었다.
• 알려지지 않은 인스턴스 클러스터링에서 인스턴스 인식 임베딩이 3D 위치나 의미적 특징과 비교해 뛰어나며, 70.3%의 UQ를 기록한 반면 의미적 특징은 16.1%에 그쳤다.
• 학습된 가중치 β를 통해 임베딩 거리와 3D 위치 거리를 결합하면 성능 향상이 더 가능하며, 최적의 성능은 β=0.5에서 달성되었다.
• OSIS는 말이나 공사 차량과 같은 희귀 객체를 알려지지 않은 인스턴스로 성공적으로 세그멘테이션했으며, 베이스라인 방법들은 오분류 또는 노이즈로 인해 실패했다.