[논문 리뷰] DeepUNet: A Deep Fully Convolutional Network for Pixel-level Sea-Land Segmentation

Ruirui Li, Wenjie Liu외 5명|arXiv (Cornell University)|2017. 09. 01.

Advanced Neural Network Applications참고 문헌 14인용 수 31

한 줄 요약

이 논문은 고해상도 위성 영상에서 픽셀 수준의 해양-육지 분할을 위해 U-연결과 플러스 연결을 갖춘 새로운 완전 컨volution 신경망인 DeepUNet을 제안한다. 인코더-디코더 아키텍처에서 표준 컨볼루션 레이어 대신 DownBlocks와 UpBlocks를 사용함으로써 특징 통합과 경계 정확도를 향상시켜, 새로 수집한 데이터셋에서 99.04%의 전체 정밀도와 98.74%의 F1 점수로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Semantic segmentation is a fundamental research in remote sensing image processing. Because of the complex maritime environment, the sea-land segmentation is a challenging task. Although the neural network has achieved excellent performance in semantic segmentation in the last years, there are a few of works using CNN for sea-land segmentation and the results could be further improved. This paper proposes a novel deep convolution neural network named DeepUNet. Like the U-Net, its structure has a contracting path and an expansive path to get high resolution output. But differently, the DeepUNet uses DownBlocks instead of convolution layers in the contracting path and uses UpBlock in the expansive path. The two novel blocks bring two new connections that are U-connection and Plus connection. They are promoted to get more precise segmentation results. To verify our network architecture, we made a new challenging sea-land dataset and compare the DeepUNet on it with the SegNet and the U-Net. Experimental results show that DeepUNet achieved good performance compared with other architectures, especially in high-resolution remote sensing imagery.

연구 동기 및 목표

• 다양한 환경 간섭이 존재하는 복잡한 고해상도 위성 영상에서 정확한 픽셀 수준의 해양-육지 분할 문제를 해결하기 위해.
• U-Net과 SegNet과 같은 기존의 CNN 기반 방법이 미세 경계 및 소형 특징(예: 선박 또는 해안 구조물)을 처리하는 데에 한계를 보이는 문제를 극복하기 위해.
• 위성 영상 분할에 특화된 보다 효과적이고 대칭적이며 효율적인 완전 컨볼루션 네트워크 아키텍처를 설계하기 위해.
• 해양-육지 분할 모델 평가를 위한 새로운 고품질 수작업 레이블링 데이터셋(207장)을 제공하기 위해.

제안 방법

• U-Net 인코더-디코더 프레임워크를 기반으로 하되, 향상된 특징 학습을 위해 DownBlocks와 UpBlocks를 통합한 새로운 네트워크 아키텍처인 DeepUNet을 제안한다.
• 두 가지 새로운 스킵 연결을 도입한다: 압축 경로와 확장 경로의 특징을 연결하는 U-연결과, 잔여 연결 방식의 원소별 덧셈을 수행하는 플러스 연결.
• 압축 경로에 사용되는 DownBlocks는 스트라이드 컨볼루션과 잔여 연결을 조합하여 특징를 다운샘플링하면서도 공간적 세부 정보를 유지한다.
• 확장 경로에 사용되는 UpBlocks는 트랜스포지드 컨볼루션과 잔여 연결을 조합하여 특징를 업샘플링하고 분할 출력을 정밀하게 보정한다.
• 고해상도 예측을 유지하기 위해 대칭적이고 완전히 컨볼루션 기반의 설계를 적용한다.
• 해양 영역와 육지 영역의 불균형을 처리하기 위해 클래스 가중치를 고려한 이진 교차 엔트로피 손실을 사용하여 네트워크를 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 강화된 스킵 연결을 갖춘 수정된 U-Net 아키텍처가 고해상도 해양-육지 위성 영상에서 분할 정확도를 향상시킬 수 있는가?
• RQ2 표준 컨볼루션 레이어와 비교해 복소화 및 재샘플링 과정에서 공간적 및 의미적 특징을 유지하는 데에, 제안된 DownBlock 및 UpBlock 아키텍처는 어떤가?
• RQ3 U-연결과 플러스 연결 메커니즘이 해양-육지 분할에서 특징 통합과 경계 정밀도를 얼마나 향상시키는가?
• RQ4 복잡한 해안 구조를 포함한 새로 수집한 어려운 데이터셋에서, DeepUNet은 U-Net과 SegNet과 같은 기존 모델에 비해 어떤 성능을 보이는가?
• RQ5 제안된 아키텍처는 선박이나 해양 시설과 같은 소형 객체 및 복잡한 구조물에 대해 잘 일반화되는가?

주요 결과

• DeepUNet는 85장의 전체 테스트 셋에서 전체 정밀도 99.04%와 F1 점수 98.74%를 기록하여, U-Net(97.57% 정밀도, 97.05% F1)과 SegNet(97.81% 정밀도, 97.01% F1)을 크게 앞서는 성능을 보였다.
• 복잡한 구조를 포함한 항만 영상에서 DeepUNet는 전체 정밀도 97.50%와 F1 점수 95.39%를 기록했으며, U-Net는 85.70%와 78.27%, SegNet은 94.92%와 90.35%를 기록했다.
• U-연결과 플러스 연결 메커니즘이 경계 정확도를 크게 향상시켜, 기존 U-Net 대비 소형 및 경계 영역에서의 오분류를 감소시켰다.
• DeepUNet는 선박과 해안 구조물과 같은 미세한 세부 정보를 분할하는 데서 뛰어난 성능을 보였으며, U-Net과 SegNet은 뚜렷한 오류와 누락 탐지가 있었다.
• 특정 항만 영상에서 DeepUNet는 전체 정밀도 98.14%와 F1 점수 96.02%를 기록했으며, U-Net보다 정밀도 3.65%p, F1 점수 4.8%p 높은 성능을 보였다.
• 제거 실험을 통해 DownBlocks, UpBlocks 및 双중 스킵 연결(U-연결 및 플러스 연결)의 조합이 최적 성능을 내기 위해 필수적임을 확인했으며, 각 구성 요소가 특징 표현 향상에 기여했다.