[논문 리뷰] ATLANTIS: A Benchmark for Semantic Segmentation of Waterbody Images

Seyed Mohammad Hassan Erfani, Zhenyao Wu외 3명|Scholar Commons (University of South Carolina)|2021. 11. 22.

Flood Risk Assessment and Management참고 문헌 25인용 수 48

한 줄 요약

ATLANTIS는 물체의 의미 분할을 위한 가장 큰 규모의 픽셀 수준 주석 데이터셋을 제공하고, 수생 및 비수생 영역에 맞춘 이중 경로 네트워크 AQUANet을 도입하여 ATLANTIS에서 최첨단 결과를 달성합니다.

ABSTRACT

Vision-based semantic segmentation of waterbodies and nearby related objects provides important information for managing water resources and handling flooding emergency. However, the lack of large-scale labeled training and testing datasets for water-related categories prevents researchers from studying water-related issues in the computer vision field. To tackle this problem, we present ATLANTIS, a new benchmark for semantic segmentation of waterbodies and related objects. ATLANTIS consists of 5,195 images of waterbodies, as well as high quality pixel-level manual annotations of 56 classes of objects, including 17 classes of man-made objects, 18 classes of natural objects and 21 general classes. We analyze ATLANTIS in detail and evaluate several state-of-the-art semantic segmentation networks on our benchmark. In addition, a novel deep neural network, AQUANet, is developed for waterbody semantic segmentation by processing the aquatic and non-aquatic regions in two different paths. AQUANet also incorporates low-level feature modulation and cross-path modulation for enhancing feature representation. Experimental results show that the proposed AQUANet outperforms other state-of-the-art semantic segmentation networks on ATLANTIS. We claim that ATLANTIS is the largest waterbody image dataset for semantic segmentation providing a wide range of water and water-related classes and it will benefit researchers of both computer vision and water resources engineering.

연구 동기 및 목표

• 수자원 관리 및 홍수 대응을 지원하기 위해 물체의 의미 분할을 위한 수역 및 물 관련 장면에 대한 연구를 자극한다.
• 자연 및 인공 수역을 포함하고 일반 장면 레이블까지 커버하는 대규모의 풍부하게 주석된 데이터셋을 만든다.
• 물 관련 클래스의 분할을 개선하기 위해 수생 및 비수생 영역을 별도로 처리하는 AQUANet이라는 이중 경로 네트워크를 개발한다.
• ATLANTIS Texture (ATeX) 하위집합을 통해 수역의 질감 신호를 연구하여 텍스처 중심의 분석을 제공한다.
• S Atlantis에서 최첨단 분할 모델을 평가하여 기준선을 설정하고 AQUANet의 효과를 입증한다.]
• method:[

제안 방법

• ATLANTIS를 5,195장의 이미지와 56개의 픽셀 수준 레이블(17개 인공, 18개 자연, 21개 일반)로 큐레이션하고 주석화한다.
• 두 개의 평행 가지치기(AQUA vs. 비 AQUA)로 구성된 AQUANet을 제안하며, ResNet-101 백본에 기반하고 저수준 특성 변조 및 교차 경로 변조를 포함한다.
• 각 경로에서 ResNet-101의 F_l를 사용한 저수준 특성 변조와 ASP-OC 스타일 모듈을 적용하여 확률 맵을 생성한다.
• 합성 및 업샘플링 전에 수생 및 비수생 확률 맵을 다듬기 위해 교차 경로 변조를 적용하고 원래 이미지 크기로 연결하고 업샘플링한다.
• 주요 손실 가중치 1.0과 보조 손실 가중치 0.4를 사용한 표준 교차 엔트로피 손실과 중간 ResNet 특징에 대한 보조 손실로 학습한다.
• 질감 중심 분석을 위한 ATLANTIS Texture (ATeX)도 수역 범주로 라벨링된 12,503개의 패치를 포함한다.

Figure 1: ATLANTIS: ArTificiaL And Natural waTer-bodIes dataSet.

실험 결과

연구 질문

• RQ1 물 관련 장면에 대해 큰 다양성과 픽셀 주석이 달린 데이터셋이 견고한 의미 분할 모델의 학습을 가능하게 하는가?
• RQ2 ATLANTIS에서 일반적인 의미 분할 모델과 물 특화 아키텍처 간의 성능 격차는 어느 정도인가?
• RQ3 두 경로 구조와 특징 변조 전략이 시각적으로 유사한 수역 클래스의 분할을 개선하는가?
• RQ4 저수준 텍스처 특징과 교차 경로 상호작용이 수생 클래스 구분에 어떤 영향을 미치는가?

주요 결과

• ATLANTIS는 56개 클래스에 걸친 5,195장의 주석 이미지로 구성되어 수역 및 관련 객체를 폭넓게 다룬다.
• AQUANet은 ATLANTIS의 수생 및 비수생 카테고리에서 열 가지 최첨단 분할 네트워크를 일관되게 능가한다.
• 수생 및 비수생 분기를 가진 이중 경로 설계는 수생 영역의 정확도와 IoU(A-acc, A-mIoU)에서 눈에 띄는 이득을 제공한다.
• 저수준 특징 변조와 교차 경로 변조 각각이 성능 향상에 기여하며, 제거 실험(ablations)에서 그 효과를 확인한다.
• ATeX는 수역 질감 분석을 위한 텍스처 중심의 데이터셋을 제공하여 의미 분할과 함께 텍스처 기반 분류 연구를 가능하게 한다.

(a)