[논문 리뷰] TreeSegNet: Automatically Constructed Tree CNNs for Subdecimeter Aerial Image Segmentation.

Kai Yue, Yang Lei외 4명|arXiv (Cornell University)|2018. 04. 29.

Advanced Neural Network Applications인용 수 2

한 줄 요약

TreeSegNet는 DeepUNet 기반으로 개발된 새로운 Tree-CNN 아키텍처를 제안하여 클래스 불균형 문제를 해결하고 서브데시미터 항공 영상 분할 성능을 향상시킨다. 혼동 행렬 분석과 최소 그래프 컷을 이용해 자동으로 Tree-CNN를 구성하고, 다중 척도 특징을 연결을 통해 융합함으로써 ISPRS Potsdam 데이터셋에서 특히 혼동이 쉬운 클래스에 대해 최신 기술 대비 뛰어난 F1 스코어를 달성한다.

ABSTRACT

For the task of subdecimeter aerial imagery segmentation, the fine-grained semantic segmentation results are usually difficult to obtain because of complex remote sensing contents and optical conditions. In addition, remote sensing imagery has inherent limitations of imbalanced class distribution. Recently, convolutional neural networks (CNNs) have shown outstanding performance on this task. In this paper, we propose the TreeSegNet to solve the class imbalance problem and further improve the accuracy in the metrics' point of view. Based on the infrastructure of DeepUNet, a Tree-CNN model in which each node represents a ResNeXt unit is constructed automatically according to confusion matrix and minimum graph cut algorithm. By transporting feature maps by concatenating connections, the Tree-CNN block fuses the multiscale features and learning the best weights for the model. In the experiments on ISPRS 2D semantic labeling Potsdam dataset, the results gotten by TreeSegNet are better than the opened state-of-the-art methods. The F1 measure scores of classes are improved especially for those classes that are easily confused. Completely and detailed comparison and analysis are performed to show that the improvement is brought by the construction and the embedding of the Tree-CNN module.

연구 동기 및 목표

• 복잡한 원격 감시 콘텐츠와 광학적 변동으로 인한 서브데시미터 항공 영상 분할에서의 클래스 불균형 문제를 해결하기 위해.
• 세밀한 의미 분할 작업에서 특히 혼동이 쉬운 클래스의 정확도를 향상시키기 위해.
• 혼동 행렬 분석과 최소 그래프 컷을 활용해 최적의 특징 학습을 위한 계층적 Tree-CNN 아키텍처를 자동으로 구성하기 위해.
• Tree-CNN 모듈을 DeepUNet 기반 구조에 통합하여 다중 척도 특징 융합과 모델 성능을 향상시키기 위해.

제안 방법

• 예측 결과의 혼동 행렬을 분석하여 최소 그래프 컷 알고리즘을 활용해 잘못 분류된 클래스를 군집화함으로써 Tree-CNN를 자동으로 구성한다.
• Tree-CNN의 각 노드는 ResNeXt 유닛으로 구성되어 있으며, 그룹화된 컨벌루션을 통해 깊이 있는 잔차 학습을 가능하게 하여 표현력을 향상시킨다.
• 특징 맵은 연결 기반 스킵 연결을 통해 전달되고 융합되어 다중 척도 특징 통합을 강화한다.
• Tree-CNN 블록은 DeepUNet의 인코더-디코더 아키텍처에 통합되어 다수 수준에서 특징 학습을 정교화한다.
• 모델은 표준 분할 손실을 기반으로 엔드 투 엔드로 훈련되며, Tree-CNN 아키텍처는 분류 혼동을 최소화하도록 최적화된다.

실험 결과

연구 질문

• RQ1 자동으로 구성된 Tree-CNN 아키텍처는 서브데시미터 항공 영상 분할에서 유사한 클래스 간 오분류를 줄일 수 있는가?
• RQ2 불균형 원격 감시 데이터에서 표준 CNN과 비교해 Tree-CNN 모듈의 통합은 분할 성능을 어떻게 향상시키는가?
• RQ3 최소 그래프 컷 기반의 노드 군집 전략은 모호한 클래스에 대해 모델의 강건성과 F1 스코어를 어느 정도 향상시키는가?
• RQ4 Tree-CNN 블록에서의 연결 기반 특징 융합은 표준 스킵 연결 대비 더 나은 다중 척도 특징 학습을 이끌어내는가?

주요 결과

• TreeSegNet는 ISPRS 2D 의미 레이블링 Potsdam 데이터셋에서 최신 기술 대비 뛰어난 F1 스코어를 달성한다.
• 혼동이 쉬운 클래스에 대해 F1 스코어가 뚜렷이 향상되어 클래스 모호성 문제를 효과적으로 해결한 것으로 나타났다.
• 혼동 행렬 분석과 최소 그래프 컷을 통한 Tree-CNN의 자동 구성은 더 강건하고 정확한 아키텍처를 도출한다.
• 연결 기반 특징 전달 메커니즘이 다중 척도 특징 융합을 강화하여 전반적인 성능 향상에 기여한다.