[논문 리뷰] Robust Semantic Segmentation with Ladder-DenseNet Models

Ivan Krešo, Marin Oršić외 2명|arXiv (Cornell University)|2018. 06. 09.

Advanced Neural Network Applications참고 문헌 13인용 수 8

한 줄 요약

이 논문은 수정된 업샘플링 경로와 새로운 피라미드 손실을 갖춘 래더형 DenseNet-169 모델을 제안하여 다양한 데이터셋 간의 강력한 세분화를 구현한다. Cityscapes, ScanNet, KITTI, WildDash에서 동시 학습함으로써 네 가지 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, WildDash에서 mIoU는 59.6%이고 Cityscapes에서는 77.1%를 기록하여 다중 데이터셋 학습을 통한 일반화 능력 향상과 분포 외 탐지 능력 향상을 입증한다.

ABSTRACT

We present semantic segmentation experiments with a model capable to perform predictions on four benchmark datasets: Cityscapes, ScanNet, WildDash and KITTI. We employ a ladder-style convolutional architecture featuring a modified DenseNet-169 model in the downsampling datapath, and only one convolution in each stage of the upsampling datapath. Due to limited computing resources, we perform the training only on Cityscapes Fine train+val, ScanNet train, WildDash val and KITTI train. We evaluate the trained model on the test subsets of the four benchmarks in concordance with the guidelines of the Robust Vision Challenge ROB 2018. The performed experiments reveal several interesting findings which we describe and discuss.

연구 동기 및 목표

• 다양한 실세계 환경에서 분포 이탈에 강건한 세분화 모델을 개발하는 것.
• 도메인이 다른 여러 데이터셋(도시, 실내, 실외)을 동시에 학습함으로써 일반화 능력과 불확실성 탐지 능력 향상 여부를 조사하는 것.
• 보조 손실과 아키텍처 수정이 깊은 업샘플링 경로에서 오차 전파를 줄이는 데 얼마나 효과적인지 평가하는 것.
• 배치 구성과 교차 데이터셋 학습이 모델 수렴 및 성능에 미치는 영향을 평가하는 것.

제안 방법

• 다운샘플링 경로에 수정된 DenseNet-169 백본을 사용하며, 업샘플링 경로의 모든 연결을 합산으로 대체하여 효율성 향상과 IoU 정확도 유지.
• 업샘플링 경로는 각 단계당 하나의 컨볼루션만 사용하고 필터 수를 128에서 256으로 증가시켜 다중 데이터셋 학습 중 과소적합 방지.
• 다양한 스케일의 특징 표현을 향상시키기 위해 다운샘플링 경로의 컨텍스트 레이어를 공간 피라미드 풀링 블록으로 대체.
• 기존 보조 손실을 대체하는 새로운 피라미드 손실을 도입하여 학습 안정성 향상과 특징 학습 향상.
• 배치 정규화 안정성 향상과 수렴 개선을 위해 교차 데이터셋 미니배치를 사용하여 학습.
• 모델 예측을 이중선형 보간을 통해 입력 해상도로 업샘플링하고, 원-핫 진짜값과 함께 교차 엔트로피 손실을 최적화.

실험 결과

연구 질문

• RQ1 Cityscapes, ScanNet, KITTI, WildDash와 같은 다양한 분포 외 데이터셋에서 강력한 성능을 내는 단일 세분화 모델를 구현할 수 있는가?
• RQ2 다중 데이터셋 학습은 모델의 일반화 능력과 분포 이탈에 대한 강건성에 어떤 영향을 미치는가?
• RQ3 합산 기반 업샘플링 및 피라미드 손실과 같은 아키텍처 수정이 깊은 업샘플링 경로에서 오차 누적을 얼마나 줄일 수 있는가?
• RQ4 WildDash 검증 데이터처럼 분포 외 데이터를 포함함으로써 모델이 이상 또는 손상된 이미지 영역을 탐지하는 능력이 향상되는가?
• RQ5 배치 구성은 다중 도메인 세분화 학습에서 학습 안정성과 수렴에 어떤 영향을 미치는가?

주요 결과

• Cityscapes에서 클래스 IoU는 77.1%를 기록했고, ROB 2018 챌린지에서 2위를 차지했으며, KITTI에서는 63.5%로 3위를 기록.
• WildDash에서 카테고리 IoU는 54.5%였고, 흐리거나 왜곡된 영역과 같은 분포 외 영역 탐지 능력이 크게 향상됨.
• ScanNet에서만 학습한 결과, WildDash 테스트에서 분포 외 픽셀의 인식이 향상되었으며, 많은 경우 분포 외 픽셀이 ScanNet 클래스로 정확히 분류되어 OOD 탐지 능력 향상을 시사.
• 피라미드 손실은 업샘플링 경로에서 오차 전파를 효과적으로 줄였지만, 더 세밀한 해상도에서는 여전히 일부 과적합 현상 관찰.
• 교차 데이터셋 배치 학습은 수렴과 안정성을 향상시켰으며, 이는 다양한 도메인 간에 더 나은 배치 정규화 통계를 확보했기 때문으로 보인다.
• 내부 분포 혼동은 극히 미미함: 약 10억 개의 ScanNet 테스트 픽셀 중 도시스케이프 클래스로 잘못 분류된 픽셀은 8개 뿐이었고, 반대로도 마찬가지였다.