[논문 리뷰] Lidar-Camera Co-Training for Semi-Supervised Road Detection

Luca Caltagirone, Lennart Svensson외 2명|arXiv (Cornell University)|2019. 11. 28.

Remote Sensing and LiDAR Applications참고 문헌 25인용 수 6

한 줄 요약

이 논문은 깊이 신경망을 사용하여 라이다-카메라 공동 학습 프레임워크를 제안한다. 이 프레임워크는 라이다와 카메라 모델이 상호 예측 기반으로 미라벨링된 데이터를 반복적으로 자기 라벨링함으로써 준지도 학습 기반 도로 감지 성능을 향상시킨다. 이 방법은 라벨이 36개뿐인 KITTI 벤치마크에서 최신 기술 수준의 성능을 달성하며, 지도 학습 대비 F1 점수를 2.61포인트 향상시킨다.

ABSTRACT

Recent advances in the field of machine learning and computer vision have enabled the development of fast and accurate road detectors. Commonly such systems are trained within a supervised learning paradigm where both an input sensor's data and the corresponding ground truth label must be provided. The task of generating labels is commonly carried out by human annotators and it is notoriously time consuming and expensive. In this work, it is shown that a semi-supervised approach known as co-training can provide significant F1-score average improvements compared to supervised learning. In co-training, two classifiers acting on different views of the data cooperatively improve each other's performance by leveraging unlabeled examples. Depending on the amount of labeled data used, the improvements ranged from 1.12 to 6.10 percentage points for a camera-based road detector and from 1.04 to 8.14 percentage points for a lidar-based road detector. Lastly, the co-training algorithm is validated on the KITTI road benchmark, achieving high performance using only 36 labeled training examples together with several thousands unlabeled ones.

연구 동기 및 목표

• 자율주행 차량에서 도로 세그먼테이션 데이터 라벨링의 높은 비용과 노력을 해결하기 위해.
• 부족한 라벨 데이터를 활용하여 풍부한 미라벨링 데이터를 활용해 도로 감지 성능을 향상시키기 위해.
• 공통적인 특성을 지닌 카메라 및 라이다 센서를 공동 학습 프레임워크를 통해 상호 보완적으로 활용하기 위해.
• 최소한의 라벨 데이터를 사용하여 KITTI 도로 벤치마크에서 방법의 성능을 검증하기 위해.
• 두 모odal별로 특화된 네트워크를 사용한 공동 학습이 지도 학습을 상당히 뛰어넘을 수 있음을 보여주기 위해.

제안 방법

• 수정된 공동 학습 알고리즘은 라벨이 있는 데이터에서 카메라 기반 및 라이다 기반의 완전 컨volution 신경망(FCN)을 번갈아가며 학습하고, 미라벨링된 데이터에 대해 신뢰도 높은 예측을 기반으로 자기 라벨링을 수행한다.
• 각 모델이 미라벨링 예제에 대해 내린 예측 결과를 타 모델 학습에 사용하는 허위 라벨로 활용함으로써 모odal 간 보완성을 활용한다(예: 라이다의 조명에 대한 강건성, 카메라의 풍부한 텍스처).
• 알고리즘은 각 반복에서 가장 신뢰도가 높은 예측(상위 p개의 양성 및 n개의 음성)을 선택하기 위해 신뢰도 임계값을 사용한다.
• 라벨이 있는 데이터에서의 지도 학습과 라벨이 없는 데이터에서의 공동 학습을 번갈아 수행하며, 지도 학습 손실과 비지도 학습 손실을 함께 최적화한다.
• Adam 옵tim자와 조기 정지 기법을 사용하여 KITTI에 적용하였으며, 라벨이 36개, 미라벨링 프레임이 6,445개였다.
• 최종 모델은 실세계 배포 환경를 시뮬레이션하기 위해 카메라 데이터만으로 평가되었다.

실험 결과

연구 질문

• RQ1 라이다와 카메라 모델 간의 공동 학습이 최소한의 라벨 데이터로 도로 감지 성능을 크게 향상시킬 수 있는가?
• RQ2 다양한 라벨 데이터 양에 따라 공동 학습으로부터 얻는 성능 향상은 어떻게 달라지는가?
• RQ3 작은 라벨 세트만을 사용하여도 공동 학습 프레임워크가 실세계 벤치마크인 KITTI에 일반화 가능한가?
• RQ4 서로 다른 모달 간 상호 자기 라벨링이 어려운 조건(예: 낮은 조도)에서 더 높은 강건성을 제공하는가?
• RQ5 제안된 방법은 KITTI 벤치마크에서 최신 기술 수준의 지도 학습 및 준지도 학습 방법과 비교해 어떻게 성능가능한가?

주요 결과

• 공동 학습 접근법은 다양한 라벨 데이터 크기에서 카메라 기반 감지기의 F1 점수를 1.12에서 6.10 포인트 향상시켰다.
• 라이다 기반 감지기의 경우 F1 점수는 1.04에서 8.14 포인트 향상되었으며, 이는 제한된 감독 하에서 강력한 성과 향상을 보여준다.
• KITTI 벤치마크에서 공동 학습된 카메라 모델(RGB36-Cotrain)은 F1 점수 95.55%를 기록하여 지도 학습 기반 모델(92.94%) 대비 2.61포인트 향상되었다.
• RGB36-Cotrain는 KITTI URBAN_ROAD 카테고리에서 발표된 방법들 중 4위를 기록하였으며, 훈련에 사용된 라벨 예제가 단 36개 뿐이었다.
• 정성적 결과 분석을 통해 공동 학습 모델이 지도 학습 기반 모델 대비 어려운 조명 조건 및 도로 표면 조건을 더 잘 처리하는 것으로 나타났다.
• 공동 학습을 통해 보완적인 센서를 활용하고 미라벨링 데이터를 효과적으로 활용할 경우, 라벨링 비용을 크게 줄일 수 있으며 성능을 유지하거나 향상시킬 수 있음을 보여준다.