[논문 리뷰] Contextual Hourglass Network for Semantic Segmentation of High Resolution Aerial Imagery

Panfeng Li, Youzuo Lin외 1명|arXiv (Cornell University)|2018. 10. 30.

Advanced Neural Network Applications참고 문헌 11인용 수 12

한 줄 요약

이 논문은 채널별 및 포인트별 어텐션을 저해상도 특징 맵에 통합하여 맥락적 의미를 향상시키는 새로운 맥락적 아워글라스 모듈을 갖춘 스택드 인코더-디코더 아키텍처인 Contextual Hourglass Network(CxtHGNet)을 제안한다. 다중 척도 특징 추출, 중간 단계 감독, 어텐션 기반 맥락 모델링을 활용함으로써, CxtHGNet은 Potsdam 및 Vaihingen 데이터셋에서 최신 기술 수준의 성능을 달성하여, Potsdam에서 87.15% pixAcc와 70.28% mIoU를 기록했고, Vaihingen에서는 87.26% pixAcc와 70.50% mIoU를 달성하였다.

ABSTRACT

Semantic segmentation for aerial imagery is a challenging and important problem in remotely sensed imagery analysis. In recent years, with the success of deep learning, various convolutional neural network (CNN) based models have been developed. However, due to the varying sizes of the objects and imbalanced class labels, it can be challenging to obtain accurate pixel-wise semantic segmentation results. To address those challenges, we develop a novel semantic segmentation method and call it Contextual Hourglass Network. In our method, in order to improve the robustness of the prediction, we design a new contextual hourglass module which incorporates attention mechanism on processed low-resolution featuremaps to exploit the contextual semantics. We further exploit the stacked encoder-decoder structure by connecting multiple contextual hourglass modules from end to end. This architecture can effectively extract rich multi-scale features and add more feedback loops for better learning contextual semantics through intermediate supervision. To demonstrate the efficacy of our semantic segmentation method, we test it on Potsdam and Vaihingen datasets. Through the comparisons to other baseline methods, our method yields the best results on overall performance.

연구 동기 및 목표

• 객체 크기가 크게 달라지고 클래스 분포가 불균형한 고해상도 항공 영상에서 정확한 픽셀 단위 의미적 세그멘테이션을 해결한다.
• 다양한 공간 척도에서 풍부한 다중 척도 맥락적 의미를 캡처하여 특징 표현을 향상시킨다.
• 계층적 인코더-디코더 구조 내에서 저해상도 특징 맵에 어텐션 메커니즘을 통합하여 모델의 강건성을 향상시킨다.
• 스택드 아워글라스 모듈을 통해 중간 단계 감독을 활용하여 다중 수준에서 예측을 정밀하게 조정하고 특징 학습을 향상시킨다.
• 의미적 세그멘테이션 작업에 대해 향상된 성능을 내는 일반화 가능한 아키텍처를 개발한다. 이는 어텐션 메커니즘과 스택드 인코더-디코더 구조를 결합한 것이다.

제안 방법

• 저해상도 특징 맵에 채널별 및 포인트별 어텐션을 적용하여 관련 맥락적 의미를 강조하고, 이중선형 보간을 통해 업샘플링하는 방식으로, 다운샘플링을 거친 후 처리하는 맥락적 아워글라스 모듈을 설계한다.
• 맥락적 아워글라스 모듈을 스택드 인코더-디코더 아키텍처에 통합하여, 여러 모듈을 연속적으로 연결함으로써 다양한 척도에서 반복적인 하향-상향 추론을 가능하게 한다.
• 모든 중간 예측(최종 출력 외)에 손실 함수를 적용하여 중간 단계 감독을 적용함으로써 피드백 루프를 제공하고, 특징 학습 및 예측 일관성을 향상시킨다.
• 원래 아워글라스 네트워크를 영감으로 삼은 대칭적 아키텍처를 사용하지만, 브로드캐스트 단계에 어텐션 모듈을 추가하여 맥락 표현을 정밀하게 다듬는다.
• 인코딩 레이어에 이중 브랜치 헤드를 구현한다: 한 브랜치는 장면 내 카테고리 존재 여부를 예측하고, 다른 브랜치는 채널별 곱셈을 통해 클래스 기반 특징 맵의 스케일링 인자를 생성한다.
• Adam 옵timizer를 사용하여 학습을 수행하고, 학습률 스케줄링, 데이터 증강(랜덤 플립, 스케일, 크롭) 및 이중 단계 학습 프로토콜을 적용한다: 인코딩 레이어 없이 사전 학습한 후, 전체 아키텍처로 미세 조정한다.

실험 결과

연구 질문

• RQ1 저해상도 특징 맵에 적용된 어텐션 메커니즘이 고해상도 항공 영상 세그멘테이션에서 맥락 이해와 예측 강건성을 향상시키는가?
• RQ2 중간 단계 감독을 통한 다중 맥락적 아워글라스 모듈의 스택 구조가 단일 브랜치 또는 浅층 아키텍처에 비해 다중 척도 특징 학습과 세그멘테이션 정확도를 향상시키는가?
• RQ3 다양한 데이터 크기와 클래스 불균형을 가진 벤치마크 항공 데이터셋에서 제안된 CxtHGNet이 FCN, SegNet, SHG, EncNet과 같은 최신 기술 수준의 모델에 비해 어떻게 성능을 내는가?
• RQ4 학습 데이터가 제한되었을 때, 모델이 작은 객체를 얼마나 잘 포착하고 다양한 도시 환경에서 일관된 예측을 유지하는가?
• RQ5 제안된 아키텍처가 어텐션 메커니즘 대신 다른 어텐션 변종으로 교체함으로써 다른 원격 감시 응용 분야로 일반화될 수 있는가?

주요 결과

• Potsdam 데이터셋에서 CxtHGNet은 87.15% 픽셀 정확도(pixAcc)와 70.28% 평균 교차점율(mIoU)을 달성하여, FCN, SegNet, SHG, EncNet을 포함한 모든 베이스라인 모델을 능가했다.
• Vaihingen 데이터셋에서 CxtHGNet은 87.26% pixAcc와 70.50% mIoU를 기록하여, 더 작은 학습 세트(1,200개 샘플)와 제한된 데이터 가용성에도 불구하고 뛰어난 성능을 보였다.
• 시각적 비교 결과, CxtHGNet은 도시 환경에서 빨간색 및 흰색 영역 등 작은 세밀한 객체를 성공적으로 포착하는 반면, FCN과 SegNet은 이를 탐지하지 못했다.
• 특히 유사한 외관을 가진 객체를 구분하는 데서 다른 모델에 비해 CxtHGNet이 더 일관되고 조화로운 예측을 생성했다.
• 그럼에도 불구하고 CxtHGNet은 일부 경우에 노이즈가 많은 예측이나 작은 영역의 잘못된 분류를 보이며, 한 이미지의 상단 중앙 영역에서 문제가 발생하는 등 국소화 정밀도 향상 여지가 있음을 보여주었다.
• 중간 단계 감독 및 어텐션 메커니즘의 제거 실험을 통해 이들이 성능 향상에 결정적인 역할을 한다는 것이 확인되었으며, 이들을 제거한 모델은 상당히 성능이 떨어졌다.