[논문 리뷰] Semantic Segmentation of 3D LiDAR Data in Dynamic Scene Using Semi-supervised Learning

Jilin Mei, Biao Gao외 4명|arXiv (Cornell University)|2018. 09. 03.

Human Pose and Action Recognition인용 수 3

한 줄 요약

이 논문은 자율주행을 위한 동적 환경에서 3D LiDAR 세분화에 대해 반감독 학습 프레임워크를 제안하며, 프레임 간 데이터 연관을 활용해 저비용 쌍별 제약 조건을 생성하고, 레이블과 제약 조건을 결합한 새로운 손실 함수를 설계한다. 본 방법은 소수의 인간 레이블과 대량의 제약 데이터만을 사용하여도 분류 정확도를 10% 이상 향상시켜 모델의 새로운 환경에 대한 적응 능력을 크게 향상시킨다.

ABSTRACT

This work studies the semantic segmentation of 3D LiDAR data in dynamic scenes for autonomous driving applications. A system of semantic segmentation using 3D LiDAR data, including range image segmentation, sample generation, inter-frame data association, track-level annotation and semi-supervised learning, is developed. To reduce the considerable requirement of fine annotations, a CNN-based classifier is trained by considering both supervised samples with manually labeled object classes and pairwise constraints, where a data sample is composed of a segment as the foreground and neighborhood points as the background. A special loss function is designed to account for both annotations and constraints, where the constraint data are encouraged to be assigned to the same semantic class. A dataset containing 1838 frames of LiDAR data, 39934 pairwise constraints and 57927 human annotations is developed. The performance of the method is examined extensively. Qualitative and quantitative experiments show that the combination of a few annotations and large amount of constraint data significantly enhances the effectiveness and scene adaptability, resulting in greater than 10% improvement

연구 동기 및 목표

• 자율주행을 위한 3D LiDAR 세분화에서 픽셀 단위 레이블링의 높은 비용 문제 해결.
• 최소한의 재학습으로 새로운, 볼 수 없는 환경에 대한 모델 일반화 능력과 적응 능력 향상.
• 이동 중인 물체에서 유도된 프레임 간 데이터 연관을 활용해 저비용으로 다량의 쌍별 제약 조건 생성.
• 희소한 인간 레이블과 조밀한 쌍별 제약 조건을 모두 수용하는 공동 손실 함수 설계.
• 1838개 프레임, 39,934개의 제약 조건, 57,927개의 인간 레이블을 포함하는 새로운 데이터셋 구축하여 방법 평가

제안 방법

• 샘플을 배경 포인트들 둘러싸인 전경 세그먼트(예: 이동 중인 물체)의 쌍으로 구성.
• 수동으로 레이블링된 데이터와 동일/다른 클래스 소속을 나타내는 쌍별 제약 조건을 모두 활용해 CNN 기반 분류기 학습.
• 제약 조건을 가진 쌍에 대해 분류 불일치를 최소화하면서도 지식 기반 레이블을 존중하는 맞춤형 손실 함수 설계.
• 프레임 간 데이터 연관을 위해 연속된 LiDAR 프레임을 자동으로 정렬하기 위해 자이로 운동 보정 적용.
• 추적 알고리즘을 사용해 동일한 물체를 프레임 간에 연관지어 양성 쌍별 제약 조건 생성.
• 초기 반감독 학습 이후 소량의 인간 확인된 앵커 샘플을 사용해 모델 미세조정

실험 결과

연구 질문

• RQ1 연속된 LiDAR 프레임에서 추적된 물체로부터 유도된 쌍별 제약 조건이 추가적인 인간 레이블 없이도 세분화 성능을 효과적으로 향상시킬 수 있는가?
• RQ2 소수의 인간 레이블과 다량의 자동 생성 제약 조건을 결합할 경우 모델 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ3 한 환경에서 학습된 반감독 모델이 최소한의 재학습으로 새로운, 볼 수 없는 환경에 얼마나 잘 적응할 수 있는가?
• RQ4 오직 제약 조건만을 사용한 비지도 학습은 실패할 수 있으며, 만약 그렇다면 그 이유는 무엇인가?
• RQ5 소수의 인간 확인된 샘플을 사용한 미세조정이 새로운 환경에서 모델 정확도와 적응 능력을 크게 향상시킬 수 있는가?

주요 결과

• 100개의 쌍별 제약 조건 추가로 적용했을 때, 동일한 데이터로 학습된 지도 학습 기반 모델 대비 평균 F-스코어가 9% 향상됨.
• 제약 조건을 포함한 반감독 방법이 완전히 지도 학습 기반 모델 대비 평균 F-스코어를 10% 이상 향상시킴.
• 오직 제약 조건만을 사용한 비지도 학습은 실패했으며, 손실 함수가 제약 조건 쌍의 오분류만 벌점 처리할 뿐 전체 클래스 분포에는 영향을 주지 않기 때문임.
• 각 카테고리별 20개, 미지의 클래스에 대해 100개의 인간 확인된 샘플을 사용한 미세조정으로 제약 조건 전용 모델 대비 평균 F-스코어가 13% 향상됨.
• 미세조정된 모델은 대부분의 카테고리에서 지도 학습 기반 모델을 초월했으며, 특히 사이클리스트나 트렁크와 같은 도전적인 클래스에서 뛰어난 성능을 보였음. 다만 학습 데이터에서는 성능이 낮았음.
• 정성적 결과 분석에서, 미세조정된 모델은 새로운 환경에서 이전에 잘못 분류된 물체들인 사이클리스트와 차량들을 성공적으로 분류함.