[논문 리뷰] Transformer Meets DCFAM: A Novel Semantic Segmentation Scheme for Fine-Resolution Remote Sensing Images.

Libo Wang, Rui Li외 2명|arXiv (Cornell University)|2021. 04. 25.

Remote-Sensing Image Classification인용 수 2

한 줄 요약

이 논문은 세분 해상도의 위성 영상에 대한 새로운 의미적 세분화 프레임워크를 제안한다. 기존의 표준 ResNet 백본 대신 Swin Transformer를 도입하여 장거리 맥락을 더 잘 포착하고, 디코더에 밀집 연결 특징 집약 모듈(DCFAM)을 도입하여 고해상도 특징을 복원한다. 두 데이터셋에서의 실험 결과 기존의 FCN 기반 방법들보다 뚜렷한 성능 향상을 보였다.

ABSTRACT

The fully-convolutional network (FCN) with an encoder-decoder architecture has become the standard paradigm for semantic segmentation. The encoder-decoder architecture utilizes an encoder to capture multi-level feature maps, which are then incorporated into the final prediction by a decoder. As the context is critical for precise segmentation, tremendous effort has been made to extract such information in an intelligent manner, including employing dilated/atrous convolutions or inserting attention modules. However, the aforementioned endeavors are all based on the FCN architecture with ResNet backbone which cannot tackle the context issue from the root. By contrast, we introduce the Swin Transformer as the backbone to fully extract the context information and design a novel decoder named densely connected feature aggregation module (DCFAM) to restore the resolution and generate the segmentation map. The extensive experiments on two datasets demonstrate the effectiveness of the proposed scheme.

연구 동기 및 목표

• 세분 해상도의 위성 영상에서 장거리 맥락적 의존성을 포착하는 데에 기존의 FCN 기반 모델의 한계를 해결하기 위해.
• 의미적 세분화에서 ResNet 기반 백본의 고유한 맥락 복원 제약를 극복하기 위해.
• 다양한 수준의 특징을 효과적으로 융합하면서도 고해상도 공간적 세부 정보를 복원하는 새로운 디코더 모듈을 설계하기 위해.
• 향상된 특징 표현과 융합을 통해 세분 해상도 위성 영상의 세분화 정확도를 향상시키기 위해.

제안 방법

• 위성 영상에서 전역적이고 계층적인 맥락적 표현을 포착하기 위해 백본 네트워크로 Swin Transformer를 채택한다.
• 디코더에 밀집 연결 특징 집약 모듈(DCFAM)을 도입하여 다중 스케일 특징을 점진적으로 정밀화하고 융합한다.
• 업샘플링 과정에서 공간적 세부 정보를 유지하기 위해 밀집 연결을 통한 강화된 스킵 커넥션 메커니즘을 사용한다.
• Swin Transformer의 이동 윈도우 자기주의 메커니즘을 활용하여 국소 윈도우 간의 장거리 의존성을 효율적으로 모델링한다.
• 디코더에서 다단계 특징 정밀화 전략을 적용하여 고해상도 세분화 맵을 복원한다.
• 표준 위성 영상 세분화 데이터 증강 기법을 사용하여 교차 엔트로피 손실을 기반으로 엔드 투 엔드 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 ResNet 백본을 Swin Transformer로 교체함으로써 세분 해상도 위성 영상의 의미적 세분화에서 맥락 모델링 성능이 뚜렷이 향상되는가?
• RQ2 기존의 업샘플링 및 스킵 커넥션 전략과 비교해 볼 때 제안된 DCFAM 디코더가 고해상도 특징 복원에 얼마나 효과적인가?
• RQ3 에코더에 자기주의 메커니즘을 통합함으로써 복잡한 위성 영상 환경에서 더 나은 특징 표현을 달성하는가?
• RQ4 기준 위성 영상 세분화 데이터셋에서 제안된 방법은 최신 기술 수준의 FCN 기반 모델들과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 두 개의 공개 위성 영상 세분화 데이터셋에서 기존의 FCN 기반 모델들을 능가하는 뛰어난 세분화 정확도를 달성한다.
• 백본으로 Swin Transformer를 사용함으로써 장거리 맥락 정보를 포착하는 데서 뚜렷한 향상이 이루어졌다.
• DCFAM 디코더는 특징 융합과 공간적 세부 정보 복원을 효과적으로 향상시켜 더 고해상도의 세분화 맵을 생성하는 데 기여한다.
• 세분화된 물체와 질감이 뚜렷한 복잡한 위성 영상 환경에서도 모델이 강인한 성능을 보였다.
• 정량적 결과는 기준 모델들 대비 일관된 mIoU 향상을 보였다.