[논문 리뷰] Scribble-based Weakly Supervised Deep Learning for Road Surface Extraction from Remote Sensing Images

Wei Yao, Shunping Ji|arXiv (Cornell University)|2020. 10. 25.

Automated Road and Building Extraction참고 문헌 55인용 수 8

한 줄 요약

이 논문은 원격 감지 영상에서 도로 표면을 추출하기 위한 스크래치 기반의 약한 지도 학습 딥러닝 방법인 ScRoadExtractor를 제안한다. 기존의 조밀한 픽셀 레이블 대신 중심선 스크래치를 사용한다. 이 방법은 초분할 영역의 공간적, 색상적, 버퍼 기반 성질을 통합한 도로 레이블 전파 알고리즘을 활용하여 가짜 마스크를 생성하고, 이 가짜 마스크로 이중 분기 인코더-디코더 네트워크를 학습시킨다. 결과적으로 기존의 전통적 스크래치 지도 학습 방법 대비 IoU에서 20% 향상되었으며, 최신의 약한 지도 학습 방법들보다 최소 4% 이상 뛰어나다.

ABSTRACT

Road surface extraction from remote sensing images using deep learning methods has achieved good performance, while most of the existing methods are based on fully supervised learning, which requires a large amount of training data with laborious per-pixel annotation. In this paper, we propose a scribble-based weakly supervised road surface extraction method named ScRoadExtractor, which learns from easily accessible scribbles such as centerlines instead of densely annotated road surface ground-truths. To propagate semantic information from sparse scribbles to unlabeled pixels, we introduce a road label propagation algorithm which considers both the buffer-based properties of road networks and the color and spatial information of super-pixels. The proposal masks generated from the road label propagation algorithm are utilized to train a dual-branch encoder-decoder network we designed, which consists of a semantic segmentation branch and an auxiliary boundary detection branch. We perform experiments on three diverse road datasets that are comprised of highresolution remote sensing satellite and aerial images across the world. The results demonstrate that ScRoadExtractor exceed the classic scribble-supervised segmentation method by 20% for the intersection over union (IoU) indicator and outperform the state-of-the-art scribble-based weakly supervised methods at least 4%.

연구 동기 및 목표

• 원격 감지 영상에서 도로 표면 추출에 있어 고비용의 픽셀 단위 레이블링에 대한 의존도를 줄이기 위해.
• 도로 중심선과 같은 쉽게 확보할 수 있는 스크래치를 지도 신호로 사용하는 약한 지도 학습 방법을 개발하기 위해.
• 공간적, 색상적, 구조적 도로 특성을 활용해 희소한 스크래치에서부터 비레이블된 픽셀으로 정합성 있는 정보를 효과적으로 전파하여 분할 정확도를 향상시키기 위해.
• 더 나은 도로 표면 예측을 위해 의미 분할과 경계 검출을 동시에 향상시키는 이중 분기 딥러닝 아키텍처를 설계하기 위해.
• 다양한 글로벌 지역의 고해상도 위성 및 항공 영상으로 구성된 다양한 데이터셋에서 방법의 유효성을 검증하기 위해.

제안 방법

• 이 방법은 초분할 특징, 색상 유사도, 공간적 근접성, 버퍼 기반 도로 네트워크 구조를 활용해 비레이블된 픽셀으로 스크래치 레이블을 전파하는 도로 레이블 전파 알고리즘을 도입한다.
• 레이블 전파 과정에서 생성된 가짜 마스크를 사용해 이중 분기 인코더-디코더 네트워크를 지도 학습한다.
• 네트워크에는 의미 분할 분기와 보조 경계 검출 분기로 구성되어 있으며, 정렬 정확도 향상에 기여한다.
• 이중 분기 아키텍처는 분할과 경계 학습을 동시에 최적화함으로써 특징 표현을 향상시킨다.
• 조밀한 픽셀 수준의 레이블링이 필요 없이 스크래치에서 유도된 가짜 마스크를 사용해 네트워크를 엔드 투 엔드로 학습시킨다.
• 레이블 전파 알고리즘은 공간적, 색상적, 토폴로지적 도로 특성의 가중 혼합을 통합하여 전파 신뢰도를 향상시킨다.

실험 결과

연구 질문

• RQ1 도로 중심선과 같은 스크래치가 원격 감지 영상에서 도로 표면 추출에 효과적인 약한 지도 신호로 기능할 수 있는가?
• RQ2 희소한 스크래치에서 비레이블된 픽셀으로 정합성 있는 정보를 효과적으로 전파하면서 도로 네트워크의 구조를 유지할 수 있는가?
• RQ3 약한 지도 학습 가짜 마스크로 훈련된 이중 분기 인코더-디코더 네트워크가 도로 분할 성능에 어느 정도 기여하는가?
• RQ4 전체적으로는 완전 지도 학습 및 다른 약한 지도 학습 방법들과 비교했을 때, 이 방법의 IoU와 다양한 데이터셋에 대한 일반화 능력은 어떠한가?
• RQ5 레이블 전파 알고리즘이 다양한 이미지 해상도와 도로 네트워크 복잡성에서 정확도를 유지할 수 있는가?

주요 결과

• ScRoadExtractor는 고전적인 스크래치 지도 학습 분할 방법 대비 교차율(Intersection over Union, IoU)에서 20% 향상된 성능을 달성했다.
• 모든 테스트 데이터셋에서 최신의 스크래치 기반 약한 지도 학습 방법들보다 최소 4% 이상 IoU에서 뛰어나다.
• 이중 분기 네트워크 아키텍처는 경계 정렬 정확도를 크게 향상시켜 높은 분할 정확도에 기여한다.
• 레이블 전파 알고리즘은 공간적, 색상적, 구조적 도로 특성을 효과적으로 활용해 희소한 스크래치에서 고품질의 가짜 마스크를 생성한다.
• 세 가지 서로 다른 글로벌 지역에서 온 고해상도 원격 감지 데이터셋에서 잘 일반화된다.
• 중심선 스크래치를 사용함으로써 전체 픽셀 수준의 레이블링 대비 약 90%의 레이블링 비용 절감이 가능했으며, 높은 성능를 유지했다.