[논문 리뷰] A Curriculum Domain Adaptation Approach to the Semantic Segmentation of Urban Scenes

Yang Zhang, Philip David외 2명|arXiv (Cornell University)|2018. 12. 24.

Advanced Neural Network Applications참고 문헌 104인용 수 8

한 줄 요약

이 논문은 도시 환경에서의 세분화를 위한 커리큘럼 도메인 적응 방법을 제안한다. 실제 이미지에서 쉽게 학습할 수 있는 전역 및 국소 레이블 분포를 활용하여 합성 데이터에 대한 훈련을 안내하고 정규화한다. 이 방법은 GTA2Cityscapes와 Cityscapes에서 여러 베이스라인을 능가하며, 이전 방법 대비 최대 11.1% mIoU 향상을 기록하여 최신 기술 수준에 도달한다.

ABSTRACT

During the last half decade, convolutional neural networks (CNNs) have triumphed over semantic segmentation, which is one of the core tasks in many applications such as autonomous driving and augmented reality. However, to train CNNs requires a considerable amount of data, which is difficult to collect and laborious to annotate. Recent advances in computer graphics make it possible to train CNNs on photo-realistic synthetic imagery with computer-generated annotations. Despite this, the domain mismatch between the real images and the synthetic data hinders the models' performance. Hence, we propose a curriculum-style learning approach to minimizing the domain gap in urban scene semantic segmentation. The curriculum domain adaptation solves easy tasks first to infer necessary properties about the target domain; in particular, the first task is to learn global label distributions over images and local distributions over landmark superpixels. These are easy to estimate because images of urban scenes have strong idiosyncrasies (e.g., the size and spatial relations of buildings, streets, cars, etc.). We then train a segmentation network, while regularizing its predictions in the target domain to follow those inferred properties. In experiments, our method outperforms the baselines on two datasets and two backbone networks. We also report extensive ablation studies about our approach.

연구 동기 및 목표

• 사진처럼 사실적인 합성 이미지와 실제 도시 환경 간의 도메인 갭을 해결하기 위해.
• 실제 이미지의 자기지도 학습 특성을 활용하여 고비용의 인간 레이블링이 필요한 실제 데이터에 대한 의존도를 줄이기 위해.
• 합성 데이터로 훈련된 모델의 실제 테스트 도메인으로의 일반화 성능을 향상시키기 위해.
• 전역 및 국소 레이블 분포를 학습하는 것이 도메인 적응을 위한 효과적인 인덕티브 바이어스가 될 수 있는지 탐색하기 위해.
• 밀도 예측 작업을 위한 도메인 적응에서 커리큘럼 학습의 효과성을 검증하기 위해.

제안 방법

• 이 방법은 먼저 타겟 도메인의 전체 이미지에서 전역 레이블 분포와 슈퍼픽셀 영역에서의 국소 레이블 분포를 추정한다.
• 이러한 분포는 합성 데이터에 대한 훈련 중 세분화 네트워크를 정규화하는 감독 신호로 사용된다.
• 이 접근법은 커리큘럼 학습 전략을 사용하여, 픽셀 단위의 세분화보다 더 쉬운 보조 작업(분포 추정)을 먼저 해결한다.
• 슈퍼픽셀는 SLIC를 사용하여 생성되어 국소 레이블 분포를 추정하기 위한 국소 영역을 정의한다.
• 정규화 항은 모델의 실제 이미지에 대한 예측이 추론된 전역 및 국소 레이블 분포와 일치하도록 강제한다.
• 프레임워크는 픽셀 단위의 교차 엔트로피와 분포 일치 정규화를 조합한 다중 작업 손실을 통해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 실제 이미지에서 전역 및 국소 레이블 분포를 학습하는 것이 세분화의 도메인 적응에 향상 효과를 줄 수 있는가?
• RQ2 분포 추정을 먼저 수행하는 커리큘럼 학습 전략이 직접 도메인 적응과 비교해 성능 향상에 기여하는가?
• RQ3 분포 기반 정규화는 합성 이미지와 실제 도시 환경 간의 도메인 이동을 줄이는 데 얼마나 효과적인가?
• RQ4 다양한 백본 네트워크와 데이터 분할 방식은 제안된 방법의 성능에 어떤 영향을 미치는가?
• RQ5 학습된 레이블 분포는 실제 환경의 클래스 모호성과 시각적 변형에 대해 얼마나 강인한가?

주요 결과

• 제안된 커리큘럼 도메인 적응 방법은 GTA2Cityscapes 벤치마크에서 29.7% mIoU를 기록하여 비교된 모든 베이스라인을 능가한다.
• Cityscapes에서 이 방법은 31.4% mIoU를 달성하여 동일한 VGG-19 백본을 사용한 베이스라인 대비 11.1% 향상된 성능을 보였다.
• 제거 실험을 통해 전역 및 국소 레이블 분포 감독이 성능 향상에 기여하는 것으로 확인되었다.
• VGG-19, DRN-26, ResNet-101를 포함한 다양한 백본 네트워크에서 일관된 성능 향상이 관찰되었다.
• 클래스별 분석 결과, '기차'와 '버스'와 같이 모호한 클래스는 여전히 도전 과제로 남아 있어 현재 합성 데이터의 정밀도에 한계가 있음을 시사한다.
• 프레임워크는 가상 환경으로의 일반화 성능이 뛰어나 시뮬레이션 기반 자율 주행 플랫폼에의 응용 가능성을 보여준다.