[논문 리뷰] Training Constrained Deconvolutional Networks for Road Scene Semantic Segmentation

Germán Ros, Simon Stent외 2명|arXiv (Cornell University)|2016. 04. 06.

Advanced Neural Network Applications인용 수 24

한 줄 요약

이 논문은 메모리 효율적인 복소망(T-Net)을 위한 지식 증류 기반 학습 방법을 제안한다. 이는 대규모 다중 도메인 데이터셋(MDRS3)과 제약 조건이 없는 고용량 소스망(S-Net)을 활용하여 도로 환경의 의미적 분할을 수행한다. 상태의 기준 기반 FCN보다 메모리 사용량이 1% 미만이지만, T-Net은 엔드 투 엔드 학습보다 더 높은 정확도를 달성하며, S-Net으로부터의 전이 학습을 통해 FCN 성능을 충족하거나 초월한다.

ABSTRACT

In this work we investigate the problem of road scene semantic segmentation using Deconvolutional Networks (DNs). Several constraints limit the practical performance of DNs in this context: firstly, the paucity of existing pixel-wise labelled training data, and secondly, the memory constraints of embedded hardware, which rule out the practical use of state-of-the-art DN architectures such as fully convolutional networks (FCN). To address the first constraint, we introduce a Multi-Domain Road Scene Semantic Segmentation (MDRS3) dataset, aggregating data from six existing densely and sparsely labelled datasets for training our models, and two existing, separate datasets for testing their generalisation performance. We show that, while MDRS3 offers a greater volume and variety of data, end-to-end training of a memory efficient DN does not yield satisfactory performance. We propose a new training strategy to overcome this, based on (i) the creation of a best-possible source network (S-Net) from the aggregated data, ignoring time and memory constraints; and (ii) the transfer of knowledge from S-Net to the memory-efficient target network (T-Net). We evaluate different techniques for S-Net creation and T-Net transferral, and demonstrate that training a constrained deconvolutional network in this manner can unlock better performance than existing training approaches. Specifically, we show that a target network can be trained to achieve improved accuracy versus an FCN despite using less than 1\% of the memory. We believe that our approach can be useful beyond automotive scenarios where labelled data is similarly scarce or fragmented and where practical constraints exist on the desired model size. We make available our network models and aggregated multi-domain dataset for reproducibility.

연구 동기 및 목표

• 임베디드 자동차 시스템에서 메모리 제약 조건이 있는 복소망(DN)을 정확하게 훈련시키는 데 도전하는 것.
• 기존 픽셀 단위의 애너테이션 데이터셋의 부족성과 도메인 특화 편향을 해결하기 위해 통합된 다중 도메인 훈련 데이터셋(MDRS3)을 구축하는 것.
• 고용량의 제약 없는 소스망(S-Net)에서 유도된 지식을 활용하여 소형 효율망의 일반화 능력과 성능을 향상시키는 것.
• S-Net에서 메모리 제약이 있는 타겟망(T-Net)으로 의미적 분할 지식을 전이하기 위한 다양한 지식 전이 기법을 평가하고 비교하는 것.
• 제약 조건이 있는 T-Net이 표준 FCN 모델보다 정확도가 높을 수 있으며, 메모리 사용량이 표준 FCN의 1% 미만임을 입증하는 것.

제안 방법

• 훈련을 위해 사용된 다섯 개의 기존 데이터셋을 통합하여 다중 도메인 도로 환경 의미 분할(MDRS3) 데이터셋을 구축한다.
• MDRS3 전체 데이터셋을 기반으로 26900만 개의 가중치를 가진 고용량의 제약 없는 소스망(S-Net)을 훈련하며, 다양한 데이터 도메인 간 앙상블을 통해 성능을 극대화한다.
• 지식 증류 기법을 적용하여 S-Net에서 T-Net으로 지식을 전이한다. 특히 소프트 레이블 증류, 특징 맵 매칭(SMP), 클래스 인식 가중 교차 엔트로피(WCE)를 사용한다.
• S-Net을 교사 모델로 사용하여 T-Net을 전이 학습으로 최적화하며, TK-SMP-WCE 기법을 적용하여 특징 일치 및 클래스별 보조 지도를 향상시킨다.
• 훈련에 사용되지 않은 원본 데이터셋의 두 개의 별도 테스트 세트에서 T-Net의 성능을 평가하여 도메인 이동에 대한 강건성과 일반화 성능를 확보한다.
• 소프트 레이블, 중간 특징 맵, 클래스 가중 손실의 조합을 통해 T-Net이 S-Net으로부터 복잡한 의미적 패턴을 효과적으로 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 대규모 제약 없는 소스망에서 유도된 지식 증류를 통해 훈련된 메모리 제약이 있는 복소망이 표준 FCN보다 더 높은 의미적 분할 정확도를 달성할 수 있는가?
• RQ2 다중 도메인 고용량 S-Net에서 유도된 지식 증류는 동일한 데이터로 엔드 투 엔드 학습한 것과 비교해 소형 효율 T-Net의 성능을 얼마나 향상시키는가?
• RQ3 소프트 레이블, 특징 맵 매칭, 클래스 인식 가중 교차 엔트로피 중 어떤 지식 증류 기법이 자원 제약 환경에서 T-Net의 성능을 가장 높게 만드는가?
• RQ4 다양하고 다중 도메인의 데이터셋(MDRS3)에서 훈련하면 의미적 분할 모델의 일반화 능력 향상과 도메인 편향 감소에 얼마나 기여하는가?
• RQ5 표준 FCN의 메모리 사용량의 1% 미만인 T-Net이 실제 세계 테스트 데이터에서 FCN와 동일하거나 더 높은 정확도를 달성할 수 있는가?

주요 결과

• 지식 증류 기반으로 훈련된 T-Net(TK-SMP-WCE)은 전역 평균 IoU 71.8%를 기록하여 표준 FCN(71.6%)과 엔드 투 엔드 학습된 T-Net(66.6%)를 모두 초월했다.
• TK-SMP-WCE 기법을 사용한 T-Net은 클래스별 IoU 59.3%를 달성하여 베이스라인 FCN(50.6%)과 엔드 투 엔드 T-Net(39.4%)보다 뚜렷이 뛰어났다.
• S-Net 앙상블(26900만 파라미터)의 메모리 사용량의 0.5%만을 차지하는 T-Net는 '차량' 클래스에 대해 93.4% IoU를 기록하여 FCN의 86.2%를 뛰어넘었다.
• TK-SMP-WCE 기법으로 훈련된 T-Net은 '보행자' 클래스에 대해 78.6% IoU를 기록하여 FCN의 17.6%와 엔드 투 엔드 T-Net의 7.6%를 뛰어넘었으며, 희귀 클래스에 대한 학습 능력 향상을 보였다.
• 제안된 지식 증류 기법(TK-SMP-WCE)은 S-Net(73.4%)과 T-Net(71.8%) 간의 전역 IoU 격차를 단지 1.6%p로 줄여, 강력한 지식 전이 효율성을 입증했다.
• 정성적 결과에서는 T-Net의 분할 결과가 FCN보다 뚜렷이 시각적으로 우수하며, 특히 보행자나 자전거 기사와 같은 복잡하거나 희귀한 객체에서 노이즈가 많은 진짜 레이블과도 동등하거나 이를 초월하는 경우가 있었다.