[논문 리뷰] Encoded Hourglass Network for Semantic Segmentation of High Resolution Aerial Imagery.

Panfeng Li, Youzuo Lin외 1명|arXiv (Cornell University)|2018. 10. 30.

Advanced Image and Video Retrieval Techniques인용 수 6

한 줄 요약

이 논문은 고해상도 항공사진 세분화에서 다중 척도 특징 추출과 전반적인 맥락 모델링을 향상시키기 위해 스택드 인코더-디코더 아키텍처와 맥락 인코딩 모듈을 결합한 인코딩된 아워글라스 네트워크를 제안한다. 여러 디코더에 걸쳐 중간 지도를 활용함으로써, 이 방법은 Potsdam 테스트 세트에서 87.01% 픽셀 정확도와 69.78% mIoU를 달성하여 기준 모델을 능가한다.

ABSTRACT

Fully Convolutional Network (FCN) has been widely used in recent work for semantic segmentation of high resolution aerial imagery. However, FCN is poor at extracting multi-scale features and exploiting contextual information. In this paper, we explore stacked encoder-decoder structure which enables repeated bottom-up, top-down inference across various scales and consolidates global and local information of the image. Moreover, we utilize the Context Encoding Module to capture the global contextual semantics of scenes and selectively emphasize or de-emphasize class-dependent featuremaps. Our approach is further enhanced by intermediate supervision on the predictions of multiple decoders and has achieved 87.01% pixel accuracy and 69.78% mIoU on Potsdam test set, which surpasses various baseline models.

연구 동기 및 목표

• 고해상도 항공사진에서 다중 척도 특징과 맥락 정보를 포착하는 데 어려움을 겪는 완전 컨volution 네트워크(FCNs)의 한계를 해결하기 위해.
• 새로운 맥락 인코딩 모듈을 통해 전역 맥락적 의미를 통합하여 세분화 성능을 향상시키기 위해.
• 스택드 인코더-디코더 아키텍처를 통해 다중 척도에서 반복적인 상향식 및 하향식 추론을 가능하게 하여 특징 학습을 향상시키기 위해.
• 다중 디코더 예측에 대한 중간 지도를 사용하여 모델 일반화 능력 향상과 특징 정제를 강화하기 위해.

제안 방법

• 모델은 다중 척도에서 반복적인 상향식 및 하향식 특징 전파를 가능하게 하기 위해 스택드 인코더-디코더 아키텍처를 사용한다.
• 전역 환경 의미를 포착하고 특징 맵의 클래스별 조절을 수행하기 위해 맥락 인코딩 모듈을 도입한다.
• 학습 안정성과 특징 표현을 향상시키기 위해 다중 디코더 예측에 중간 지도를 적용한다.
• 정밀한 국소화를 위해 인코더의 고해상도 특징과 디코더의 업샘플링된 특징을 결합하기 위해 스킵 연결을 사용한다.
• 교차 엔트로피 손실을 사용하고 표준 딥러닝 최적화 기법을 활용하여 엔드 투 엔드로 네트워크를 훈련한다.
• 맥락 인코딩 모듈은 특징 맵 전역에 방출되는 전역 맥락 벡터를 학습하여 특정 의미 클래스를 강조하거나 억제한다.

실험 결과

연구 질문

• RQ1 스택드 인코더-디코더 아키텍처는 고해상도 항공사진 세분화에서 다중 척도 특징 학습과 맥락 모델링을 향상시킬 수 있는가?
• RQ2 맥락 인코딩 모듈의 통합은 세분화에서 전역 환경 의미 표현에 어떤 영향을 미치는가?
• RQ3 다중 디코더 헤드에 대한 중간 지도가 세분화 정확도와 특징 품질 향상에 어느 정도 기여하는가?
• RQ4 제안된 아키텍처는 벤치마크 항공 세분화 데이터셋에서 표준 FCN 기반 모델을 능가하는가?

주요 결과

• 제안된 인코딩된 아워글라스 네트워크는 Potsdam 테스트 세트에서 87.01% 픽셀 정확도를 달성하여 고해상도 항공사진에서 뛰어난 성능을 보였다.
• 모델은 69.78% 평균 교차율(mIoU)을 기록하여 여러 기준 모델을 능가하는 세분화 품질을 확보했다.
• 맥락 인코딩 모듈의 통합은 전역 맥락 모델링을 향상시켜 더 일관되고 정확한 클래스 예측을 가능하게 하였다.
• 다중 디코더에 걸친 중간 지도는 특징 정제를 향상시키고 더 나은 일반화 및 수렴에 기여하였다.
• 스택드 인코더-디코더 아키텍처는 다중 척도 특징의 효과적 융합을 가능하게 하여 국소화 및 경계 정확도를 향상시켰다.
• 표준 FCN 기반 모델에 비해 뛰어난 성능을 보이며, 구조화된 다중 척도 및 전역 맥락 학습의 이점을 입증하였다.