[논문 리뷰] TreeSegNet: Adaptive Tree CNNs for Subdecimeter Aerial Image Segmentation

Kai Yue, Lei Yang외 4명|arXiv (Cornell University)|2018. 04. 29.

Advanced Neural Network Applications참고 문헌 9인용 수 3

한 줄 요약

TreeSegNet은 DeepUNet 아키텍처 내에서 클래스별 특징 표현을 혼동 행렬 기반 아키텍처 적응을 통해 학습함으로써 고해상도 항공 영상 분할 성능을 향상시키기 위해 적응형 Tree-CNN 블록을 제안한다. 이 방법은 다중스케일 특징을 연결 연결을 통해 융합하고, ResNeXt 기반 노드를 새로운 TreeCutting 알고리즘으로 최적화하여 ISPRS Potsdam 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

For the task of subdecimeter aerial imagery segmentation, fine-grained semantic segmentation results are usually difficult to obtain because of complex remote sensing content and optical conditions. Recently, convolutional neural networks (CNNs) have shown outstanding performance on this task. Although many deep neural network structures and techniques have been applied to improve the accuracy, few have paid attention to better differentiating the easily confused classes. In this paper, we propose TreeSegNet which adopts an adaptive network to increase the classification rate at the pixelwise level. Specifically, based on the infrastructure of DeepUNet, a Tree-CNN block in which each node represents a ResNeXt unit is constructed adaptively according to the confusion matrix and the proposed TreeCutting algorithm. By transporting feature maps through concatenating connections, the Tree-CNN block fuses multiscale features and learns best weights for the model. In experiments on the ISPRS 2D semantic labeling Potsdam dataset, the results obtained by TreeSegNet are better than those of other published state-of-the-art methods. Detailed comparison and analysis show that the improvement brought by the adaptive Tree-CNN block is significant.

연구 동기 및 목표

• 다양한 광학 조건을 가진 복잡한 고해상도 항공 영상에서 세분화된 의미론적 분할 과제를 해결하기 위해.
• 원격 감시 영상 분할에서 쉽게 혼동되는 클래스의 분류 정확도를 향상시키기 위해.
• 클래스 혼동 패tern에 기반해 동적으로 조정되는 적응형 딥 러닝 아키텍처를 개발하기 위해.
• 더 나은 문맥 표현을 위해 U-Net 유사 인코더에서의 다중스케일 특징 융합을 향상시키기 위해.

제안 방법

• 이 방법은 DeepUNet 아키텍처를 기반으로 하며, 각 노드가 ResNeXt 유닛인 Tree-CNN 블록을 도입하여 계층적 특징 학습을 가능하게 한다.
• 모델 예측에서 계산된 혼동 행렬을 통해 자주 잘못 분류되는 클래스 쌍을 식별한다.
• 혼동 패턴에 기반해 TreeCutting 알고리즘이 Tree-CNN 블록을 적응적으로 잘라내고 재구성하여 결정 경계를 향상시킨다.
• 특징 맵은 연결 연결을 통해 전달되어 다중스케일 특징을 융합하고 표현 학습을 향상시킨다.
• 적응형 Tree-CNN 블록은 나머지 네트워크와 함께 엔드 투 엔드로 훈련되어 픽셀 수준의 분류를 최적화한다.
• 표준 분할 메트릭을 사용하여 ISPRS 2D 의미론적 레이블링 Potsdam 데이터셋에서 아키텍처를 평가한다.

실험 결과

연구 질문

• RQ1 적응형 딥 러닝 아키텍처가 고해상도 항공 영상 분할에서 픽셀 수준의 분류 정확도를 향상시킬 수 있는가?
• RQ2 혼동 행렬 기반 네트워크 적응이 쉽게 구분되지 않는 클래스 성능에 어떤 영향을 미치는가?
• RQ3 연결 연결을 통한 다중스케일 특징 융합이 분할 품질을 어느 정도 향상시키는가?
• RQ4 TreeCutting 알고리즘이 유사한 클래스 간 잘못된 분류를 줄이기 위해 네트워크를 효과적으로 재구성하는가?

주요 결과

• TreeSegNet은 ISPRS Potsdam 데이터셋에서 최신 기술 수준의 성능을 달성하여 다른 발표된 방법보다 분할 정확도에서 뛰어난 성능을 보였다.
• 적응형 Tree-CNN 블록은 불투명 표면 및 나무와 같이 혼동이 쉬운 클래스의 분류율을 크게 향상시켰다.
• 혼동 행렬 기반 적응은 특히 외관상 유사한 클래스 간의 상호 혼동 분류를 측정 가능한 정도로 감소시켰다.
• 연결 연결을 통한 다중스케일 특징 융합은 모델이 다양한 스케일에서 문맥 정보를 포착하는 능력을 향상시켰다.
• 제거 실험을 통해 TreeCutting 알고리즘과 적응형 블록 설계가 성능 향상에 기여한다는 것이 확인되었다.
• 이 방법은 도전적인 광학 조건과 복잡한 원격 감시 콘텐츠에서도 뛰어난 강건성을 보였다.