[논문 리뷰] A Relation-Augmented Fully Convolutional Network for Semantic Segmentation in Aerial Scenes

Lichao Mou, Yuansheng Hua외 1명|arXiv (Cornell University)|2019. 04. 11.

Advanced Neural Network Applications참고 문헌 43인용 수 15

한 줄 요약

이 논문은 두 가지 플러그-앤플레이 모듈인 공간 관계 모듈과 채널 관계 모듈을 통해 장거리 공간적 및 채널별 관계를 명시적으로 모델링함으로써 항공 영상에서의 의미 분할 성능을 향상시키는 관계 증강 완전 컨volution 신경망(RA-FCN)을 제안한다. 이 방법은 Vaihingen 데이터셋에서 평균 F1 스코어 88.54%와 전체 정확도 89.23%를 기록하며, FCN-dCRF 및 SCNN과 같은 기준 모델들을 상당히 뛰어넘는 최신 기술 성능을 달성한다.

ABSTRACT

Most current semantic segmentation approaches fall back on deep convolutional neural networks (CNNs). However, their use of convolution operations with local receptive fields causes failures in modeling contextual spatial relations. Prior works have sought to address this issue by using graphical models or spatial propagation modules in networks. But such models often fail to capture long-range spatial relationships between entities, which leads to spatially fragmented predictions. Moreover, recent works have demonstrated that channel-wise information also acts a pivotal part in CNNs. In this work, we introduce two simple yet effective network units, the spatial relation module and the channel relation module, to learn and reason about global relationships between any two spatial positions or feature maps, and then produce relation-augmented feature representations. The spatial and channel relation modules are general and extensible, and can be used in a plug-and-play fashion with the existing fully convolutional network (FCN) framework. We evaluate relation module-equipped networks on semantic segmentation tasks using two aerial image datasets, which fundamentally depend on long-range spatial relational reasoning. The networks achieve very competitive results, bringing significant improvements over baselines.

연구 동기 및 목표

• 항공 영상 의미 분할에서 CNN의 장거리 공간적 및 채널별 관계 모델링 능력의 한계를 해결하기 위해.
• 공간 위치 간 및 특징 맵 간의 전역적 맥락 관계를 명시적으로 학습하여 완전 컨volution 신경망의 특징 표현을 향상시키기 위해.
• 기존 FCN 아키텍처를 대체하지 않고도 적용 가능한 일반화 가능한 플러그-앤플레이 모듈을 개발하기 위해.
• 항공 영상에서 흔한 시각적 모호성을 해결하는 데 있어 공간 관계 모듈과 채널 관계 모듈의 효과를 검증하기 위해.
• 비교 및 분석 실험을 통해 벤치마크 항공 영상 데이터셋에서 뛰어난 성능을 입증하기 위해.

제안 방법

• 특징 맵 내 임의의 두 공간 위치 간의 전역적 관계를 쿼리-키-밸류 어텐션 유사 연산을 사용하여 모델링하는 공간 관계 모듈을 도입한다.
• 채널 차원을 따라 특징 맵 간 상호의존성을 캡처하여 채널별 표현을 향상시키는 채널 관계 모듈을 제안한다.
• 관계 인식 특징을 원본 특징에 연결하거나 더하여 향상된 분할 성능를 얻기 위한 관계 증강 특징 융합 기법을 사용한다.
• 최적의 특징 증강 전략을 탐색하기 위해 공간 관계 모듈과 채널 관계 모듈의 순차적 및 병렬적 통합 방식을 지원한다.
• 모든 공간 위치 쌍 또는 특징 맵 간의 관계를 계산하기 위한 학습 가능한, 미분 가능한 메커니즘을 사용하여 엔드 투 엔드 학습을 가능하게 한다.
• ResNet과 같은 기존 FCN 백본 위에 플러그-앤플레이 방식으로 모듈을 적용하여 핵심 네트워크 아키텍처를 수정하지 않는다.

실험 결과

연구 질문

• RQ1 장거리 공간적 관계를 명시적으로 모델링하면, 높은 시각적 모호성이 있는 항공 영상에서 의미 분할 정확도를 향상시킬 수 있는가?
• RQ2 채널별 관계는 의미 분할 네트워크에서 특징 표현을 어떻게 향상시키는가?
• RQ3 공간 관계 모듈과 채널 관계 모듈을 통합할 때 최적의 성능 향상을 얻기 위해 순차적일지, 병렬일지 어느 것이 더 효과적인가?
• RQ4 관계 모듈은 복잡한 항공 영상에서 공간 분할 및 예측 일관성 향상에 얼마나 기여하는가?
• RQ5 제안된 모듈은 다양한 항공 영상 데이터셋에 일반화되어 기존 국소 수용 영역 또는 CRF에 의존하는 방법들을 능가할 수 있는가?

주요 결과

• RA-FCN은 Vaihingen 데이터셋에서 평균 F1 스코어 88.54%와 전체 정확도 89.23%를 기록하며, FCN-dCRF 및 SCNN보다 각각 평균 F1 스코어에서 4.98%, 3.69% 높은 성능을 보였다.
• Potsdam 데이터셋에서 공간 관계 모듈만으로도 FCN-dCRF 대비 평균 F1 스코어 2.25% 향상되었고, SCNN 대비 2.67% 향상되었다.
• 공간 및 채널 관계 모듈을 순차적으로 통합함으로써 기본 FCN 대비 평균 F1 스코어는 1.39% 향상되고, 평균 IoU는 1.54% 향상되었다.
• RA-FCN은 산산이 흩어져 있거나 시각적으로 모호한 물체인 차량의 인식을 크게 향상시켜 장거리 추론 능력이 뛰어나다는 것을 입증한다.
• 정성적 결과에서는 RA-FCN이 불투명 표면의 잘못된 분류를 줄이고, 특히 모호한 영역에서 건물 분할의 이방성(outliers)을 제거함으로써 성능 향상을 보였다.
• 절단 실험 결과, 두 관계 모듈이 의미 있는 전역 관계를 학습하고 있음을 확인하였으며, 특히 원거리 맥락을 통해 국소적 모호성을 효과적으로 해결하는 데 공간 모듈이 뛰어난 성능을 보였다.