[논문 리뷰] Reinforced Wasserstein Training for Severity-Aware Semantic Segmentation in Autonomous Driving

Xiaofeng Liu, Yimeng Zhang외 4명|arXiv (Cornell University)|2020. 08. 11.

Advanced Neural Network Applications참고 문헌 68인용 수 7

한 줄 요약

이 논문은 자율주행의 안전성을 향상시키기 위해 학습 가능한 기저 거리 측정법을 갖춘 워셔스타인 거리 기반의 심각도 인식 세그멘테이션 손실을 제안한다. 작업에 특화된 비용 행렬을 통해 잘못 분류의 심각도를 모델링하고, CARLA 시뮬레이터에서 강화 학습을 통해 최적화함으로써 충돌 빈도를 크게 감소시키고 주행 거리를 증가시켰으며, CamVid와 Cityscapes에서 교차 엔트로피 및 중요도 인식 기반 베이스라인에 비해 뛰어난 성능을 보였다.

ABSTRACT

Semantic segmentation is important for many real-world systems, e.g., autonomous vehicles, which predict the class of each pixel. Recently, deep networks achieved significant progress w.r.t. the mean Intersection-over Union (mIoU) with the cross-entropy loss. However, the cross-entropy loss can essentially ignore the difference of severity for an autonomous car with different wrong prediction mistakes. For example, predicting the car to the road is much more servery than recognize it as the bus. Targeting for this difficulty, we develop a Wasserstein training framework to explore the inter-class correlation by defining its ground metric as misclassification severity. The ground metric of Wasserstein distance can be pre-defined following the experience on a specific task. From the optimization perspective, we further propose to set the ground metric as an increasing function of the pre-defined ground metric. Furthermore, an adaptively learning scheme of the ground matrix is proposed to utilize the high-fidelity CARLA simulator. Specifically, we follow a reinforcement alternative learning scheme. The experiments on both CamVid and Cityscapes datasets evidenced the effectiveness of our Wasserstein loss. The SegNet, ENet, FCN and Deeplab networks can be adapted following a plug-in manner. We achieve significant improvements on the predefined important classes, and much longer continuous playtime in our simulator.

연구 동기 및 목표

• 교차 엔트로피 손실이 실제 세계에서의 심각도에 관계없이 모든 잘못 분류를 동일하게 취급한다는 한계를 해결하기 위해.
• 워셔스타인 거리 프레임워크 내에서 사전 정의되거나 학습 가능한 기저 거리 측정법을 사용해 클래스 간 잘못 분류의 심각도를 모델링하기 위해.
• 고위험 클래스(예: 보행자, 차량)의 정확한 식별을 저위험 클래스보다 우선시하여 자율주행의 안전성을 향상시키기 위해.
• 구조적 변경 없이 SegNet, ENet, FCN, Deeplab와 같은 표준 네트워크를 향상시킬 수 있는 플러그인 손실을 통해 엔드 투 엔드 학습을 가능하게 하기 위해.
• 강화 학습 기반의 시뮬레이션 환경에서의 검증을 통해 주행 안전성과 내구성을 향상시킨다.

제안 방법

• 한 클래스를 다른 클래스로 잘못 분류했을 때의 실제 세계 영향을 반영하는 심각도 행렬로 워셔스타인 거리의 기저 거리 측정법을 정의한다.
• 기저 거리 측정법으로서 심각도 행렬의 증가 함수를 사용하여 최적화의 안정성과 일반화 성능을 향상시킨다.
• CARLA 시뮬레이터에서 액터-크리틱 강화 학습 프레임워크를 구현하여 최적의 기저 거리 측정법과 주행 정책을 동시에 학습한다.
• 표준 세그멘테이션 네트워크에서 교차 엔트로피의 플러그인 대체 손실로 워셔스타인 손실을 적용하여 엔드 투 엔드 학습을 가능하게 한다.
• 비-일반화된 가짜 레이블을 사용한 자기지도형 도메인 적응에서 워셔스타인 거리의 빠른 근사 해법을 적용한다.
• 제안된 손실을 사용해 세그멘테이션 모델을 미세 조정하고, CARLA에서 충돌 없는 주행 거리 및 성공률과 같은 주행 지표를 통해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 워셔스타인 거리 기반의 심각도 인식 손실이 자율주행의 세그멘테이션 안전성 향상에 기여할 수 있는가?
• RQ2 학습 가능한 기저 거리 측정법을 통해 잘못 분류의 심각도를 모델링하면 시뮬레이션 환경에서 주행 성능에 어떤 영향을 미치는가?
• RQ3 제안된 손실이 아키텍처 변경 없이 표준 세그멘테이션 아키텍처에 효과적으로 통합될 수 있는가?
• RQ4 기반 강화 학습을 통한 기저 거리 측정법의 적응은 더 강력하고 안전한 주행 정책을 이끌어낼 수 있는가?
• RQ5 교차 엔트로피 및 중요도 인식 손실과 비교했을 때, 주행 안전성과 세그멘테이션 정확도 측면에서 제안된 방법은 어떤가?

주요 결과

• 뉴 타운 설정에서 보행자와의 충돌 간격 평균 거리가 9.24 km에서 28.25 km로 증가하여 안전 주행 거리가 거의 3배로 증가했다.
• 뉴 웨더 설정에서는 보행자와의 충돌 간격 평균 거리가 2.53 km에서 7.82 km로 향상되어 환경 변화에 대한 강건성을 입증했다.
• 딥랩에 적응형 워셔스타인 손실(A-ℒdᵢⱼ)을 적용한 결과, 정상 교통 상황에서 40.3 km의 성공률를 기록하여 기준 딥랩(30.5 km)과 IAL(35.2 km)을 모두 초월했다.
• 10시간 동안의 시범 시나리오에서 자율주행의 성공률가 58.2%에서 65.7%로 향상되어 정책의 일반화 능력 향상을 시사했다.
• 워셔스타인 손실은 300,000 번의 학습 스텝 이후 안정화되었고, 추가 튜닝 없이도 성능을 유지하여 학습 기간에 대한 강건성을 보였다.
• 특정 고영향도 클래스(예: 사람, 차량)에서 뚜렷한 향상이 있었고, 표준 mIoU 지표에서도 강력한 성능를 유지했다.