[논문 리뷰] CATNet: Context AggregaTion Network for Instance Segmentation in Remote Sensing Images.

Ye Liu, Huifang Li외 4명|arXiv (Cornell University)|2021. 11. 22.

Advanced Neural Network Applications참고 문헌 54인용 수 4

한 줄 요약

CATNet는 원격 감지 영상에서 개체 세분화를 위한 새로운 맥락 집계 네트워크로, 특성, 공간, 개체 영역에서의 전역 맥락을 집계함으로써 특징 추출을 향상시키는 세 가지 경량 모듈—DenseFPN, SCP, HRoIE—를 도입한다. iSAID, DIOR, NWPU VHR-10, HRSID에서 유사한 계산 비용으로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The task of instance segmentation in remote sensing images, aiming at performing per-pixel labeling of objects at instance level, is of great importance for various civil applications. Despite previous successes, most existing instance segmentation methods designed for natural images encounter sharp performance degradations when directly applied to top-view remote sensing images. Through careful analysis, we observe that the challenges mainly come from lack of discriminative object features due to severe scale variations, low contrasts, and clustered distributions. In order to address these problems, a novel context aggregation network (CATNet) is proposed to improve the feature extraction process. The proposed model exploits three lightweight plug-and-play modules, namely dense feature pyramid network (DenseFPN), spatial context pyramid (SCP), and hierarchical region of interest extractor (HRoIE), to aggregate global visual context at feature, spatial, and instance domains, respectively. DenseFPN is a multi-scale feature propagation module that establishes more flexible information flows by adopting inter-level residual connections, cross-level dense connections, and feature re-weighting strategy. Leveraging the attention mechanism, SCP further augments the features by aggregating global spatial context into local regions. For each instance, HRoIE adaptively generates RoI features for different downstream tasks. We carry out extensive evaluation of the proposed scheme on the challenging iSAID, DIOR, NWPU VHR-10, and HRSID datasets. The evaluation results demonstrate that the proposed approach outperforms state-of-the-arts with similar computational costs. Code is available at https://github.com/yeliudev/CATNet.

연구 동기 및 목표

• 상위 시야 원격 감지 영상에 적용될 때 자연 이미지 개체 세분화 모델의 성능 저하 문제를 해결한다.
• 원격 감지 영상의 척도 변화, 낮은 대비, 군집된 객체 분포와 같은 과제를 극복한다.
• 특성, 공간, 개체 수준에서 전역 시각적 맥락을 집계하여 특징 표현을 향상시킨다.
• 계산 비용을 크게 증가시키지 않으면서 특징 추출을 향상시키는 경량형 플러그 앤 플레이 모듈을 설계한다.

제안 방법

• 다중 척도 특징 피라미드에 상위 레이어 간 잔차 연결, 크로스 레벨 밀집 연결, 특징 재가중을 포함한 DenseFPN을 제안하여 척도 간 정보 흐름을 향상시킨다.
• 공간 맥락 피라미드(Spatial Context Pyramid, SCP)를 도입하여 주의 메커니즘을 활용해 지역적 특징 영역에 전역 공간 맥락을 통합한다.
• 계층적 영역 관심 추출기(Hierarchical Region of Interest Extractor, HRoIE)를 개발하여 각 개체에 맞게 다운스트림 작업에 적합한 RoI 특징을 적응적으로 생성한다.
• DenseFPN, SCP, HRoIE의 세 모듈을 통합하여 엔드 투 엔드 훈련 및 추론이 가능한 유일한 네트워크로 구성한다.
• DenseFPN 내 주의 기반 특징 재가중을 통해 특징 맵 전반에서 정보가 많은 특징을 강조한다.
• 모듈을 경량형으로 설계하고 플러그 앤 플레이 방식으로 구성하여 기존 개체 세분화 프레임워크에 쉽게 통합할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 특성, 공간, 개체 수준에서 전역 시각적 맥락을 효과적으로 집계하여 원격 감지 영상에서의 개체 세분화 성능을 향상시킬 수 있는가?
• RQ2 경량형 플러그 앤 플레이 모듈은 척도 변화와 낮은 대비를 보이는 원격 감지 영상에서 특징 표현을 얼마나 향상시킬 수 있는가?
• RQ3 다중 척도, 공간, 개체 수준 맥락 집계를 통합한 유일한 네트워크 아키텍처가 기존 최신 기술 수준의 방법을 초월할 수 있는가?
• RQ4 제안된 CATNet는 다양한 원격 감지 벤치마크에서 객체 분포와 영상 특성이 상이한 환경에서 어떻게 성능을 발휘하는가?

주요 결과

• CATNet는 유사한 계산 비용 내에서 iSAID 데이터셋에서 최신 기술 수준의 성능을 달성하며 이전 방법들을 능가한다.
• DIOR 데이터셋에서 CATNet는 다양한 시나리오 카테고리와 객체 척도에 걸쳐 뛰어난 일반화 능력을 보여준다.
• NWPU VHR-10 및 HRSID 데이터셋에서 일관된 성능 향상을 기록하며, 특히 군집된 소형 객체 처리에서 뛰어난 성능을 발휘한다.
• 절단 실험을 통해 DenseFPN, SCP, HRoIE 각각의 구성 요소가 전체 성능 향상에 기여한다는 것이 확인되었다.
• 모듈의 경량 설계 덕분에 기준 모델 대비 추론 시간과 파라미터 수의 증가가 최소한이 된다.
• SCP 내 주의 기반 맥락 집계는 낮은 대비 및 혼잡한 영역에서 특징의 구분 능력을 향상시킨다.