[논문 리뷰] Learning to Aggregate Multi-Scale Context for Instance Segmentation in Remote Sensing Images

Ye Liu, Huifang Li외 4명|arXiv (Cornell University)|2021. 11. 22.

Remote-Sensing Image Classification인용 수 14

한 줄 요약

이 논문은 원격 감지 영상에서의 인스턴스 세그멘테이션을 위한 경량이며 플러그 앤 플레이인 프레임워크인 CATNet을 제안한다. 이는 특성, 공간, 인스턴스 도메인 전역에서의 컨텍스트를 집계하여 분류 특징을 향상시킨다. DenseFPN, SCP, HRoIE 모듈을 통합함으로써 CATNet는 iSAID, DIOR, NWPU VHR-10, HRSID에서 최소한의 계산 부담으로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The task of instance segmentation in remote sensing images, aiming at performing per-pixel labeling of objects at instance level, is of great importance for various civil applications. Despite previous successes, most existing instance segmentation methods designed for natural images encounter sharp performance degradations when they are directly applied to top-view remote sensing images. Through careful analysis, we observe that the challenges mainly come from the lack of discriminative object features due to severe scale variations, low contrasts, and clustered distributions. In order to address these problems, a novel context aggregation network (CATNet) is proposed to improve the feature extraction process. The proposed model exploits three lightweight plug-and-play modules, namely dense feature pyramid network (DenseFPN), spatial context pyramid (SCP), and hierarchical region of interest extractor (HRoIE), to aggregate global visual context at feature, spatial, and instance domains, respectively. DenseFPN is a multi-scale feature propagation module that establishes more flexible information flows by adopting inter-level residual connections, cross-level dense connections, and feature re-weighting strategy. Leveraging the attention mechanism, SCP further augments the features by aggregating global spatial context into local regions. For each instance, HRoIE adaptively generates RoI features for different downstream tasks. Extensive evaluations of the proposed scheme on iSAID, DIOR, NWPU VHR-10, and HRSID datasets demonstrate that the proposed approach outperforms state-of-the-arts under similar computational costs. Source code and pre-trained models are available at https://github.com/yeliudev/CATNet.

연구 동기 및 목표

• 스케일 변동, 낮은 대비, 군집된 객체 분포로 인해 자연 이미지 인스턴스 세그멘테이션 모델이 원격 감지 영상에서 성능이 떨어지는 문제를 해결하기 위해.
• 특성, 공간, 인스턴스의 세 가지 별도 도메인에서 전역 컨텍스트를 명시적으로 모델링하여 분류 특징을 향상시키기 위해.
• 기존 인스턴스 세그멘테이션 파이프라인에 쉽게 통합할 수 있고, 계산 비용을 크게 증가시키지 않는 경량이며 플러그 앤 플레이 모듈을 설계하기 위해.
• 표준 원격 감지 벤치마크에서의 비교 및 추론 실험을 통해 다도메인 컨텍스트 집계의 효과를 검증하기 위해.

제안 방법

• 다중 척도 특성 피라미드 네트워크인 DenseFPN을 도입하여, 수직 간의 잔차 연결, 수평 간의 밀집 연결, 특성 재가중을 통해 특성 레벨 간의 정보 흐름을 향상시킨다.
• 공간 컨텍스트 피라미드(Spatial Context Pyramid, SCP)를 제안하여, 어텐션 메커니즘을 사용해 전역 공간 컨텍스트를 국소 특성에 집계함으로써 각 피라미드 레벨의 표현력을 향상시킨다.
• 계층적 영역 관심 추출기(Hierarchical Region of Interest Extractor, HRoIE)를 설계하여, 여러 특성 레벨에서의 RoI 특징을 적응적으로 융합함으로써 검출 및 세그멘테이션 작업에 맞는 표현을 조정한다.
• 粗-세밀 처리 순서를 적용한다: 먼저 DenseFPN이 레벨 간 특성 의미를 校정하고, 그 다음 SCP가 공간 컨텍스트를 처리하며, 마지막으로 HRoIE가 인스턴스별로 보완한다.
• 모듈러하고 플러그 앤 플레이 설계를 통해 구성 요소를 독립적으로 추가할 수 있으며, FLOPs는 최소화하고 추론 속도 손실는 약 20% 수준으로 유지한다.
• 성능 기여도와 최적의 모듈 순서를 검증하기 위해 추론 실험을 수행하였으며, DenseFPN 이후에 SCP를 적용할 경우 가장 높은 성능을 기록함을 확인하였다.

실험 결과

연구 질문

• RQ1 특성, 공간, 인스턴스 도메인의 전역 컨텍스트를 효과적으로 집계하여 원격 감지 인스턴스 세그멘테이션에서 특징의 분류 능력을 향상시킬 수 있는가?
• RQ2 다중 척도 컨텍스트 집계 모듈의 최적의 아키텍처 순서는 무엇인가? 성능을 극대화하면서도 효율성을 유지할 수 있는가?
• RQ3 기존 인스턴스 세그멘테이션 모델의 성능을 높이되, 계산 비용을 크게 증가시키지 않는 경량의 플러그 앤 플레이 모듈을 설계할 수 있는가?
• RQ4 주의 기반 공간 컨텍스트와 적응형 RoI 특징 융합이 도전적인 원격 감지 벤치마크에서 성능에 어떤 영향을 미치는가?

주요 결과

• iSAID, DIOR, NWPU VHR-10, HRSID에서 CATNet는 유사한 계산 비용으로 최신 기술 수준의 방법들을 능가하며, 더 뛰어난 일반화 능력을 보여준다.
• 추론 실험 결과, DenseFPN, SCP, HRoIE 세 모듈 모두 독립적으로 기여하며 상호 보완적으로 기여함을 확인하였으며, 구성 요소 간 간섭은 없었다.
• 최적의 모듈 순서는 DenseFPN → SCP → HRoIE이며, 이는 군집-세밀한 컨텍스트 집계를 가능하게 하여 특성 校정, 공간 컨텍스트 향상, 인스턴스별 보완을 순차적으로 향상시킨다.
• 한 개 또는 두 개의 모듈만 추가해도 효율성 저하가 약 10% 이하이며, 전체 모델은 기준 모델 대비 약 20% 느린 것으로 나타나, 실용적 사용에 있어 여전히 수용 가능한 수준이다.
• 1층 DenseFPN과 128채널 HRoIE를 사용하는 경량 버전의 CATNet는 기준 모델보다 더 빠른 추론 속도를 기록하면서도 더 높은 정확도를 유지한다.