[논문 리뷰] Foreground-Aware Relation Network for Geospatial Object Segmentation in High Spatial Resolution Remote Sensing Imagery

Zhuo Zheng, Yanfei Zhong외 2명|arXiv (Cornell University)|2020. 11. 19.

Advanced Image and Video Retrieval Techniques참고 문헌 47인용 수 6

한 줄 요약

이 논문은 고해상도 위성 영상에서 지오스페이셜 오브젝트 세그멘테이션을 위한 프론트엔드 인식 관계 네트워크인 FarSeg를 제안한다. 프론트엔드-스냅샷 관계 모듈을 통합하여 프론트엔드 특징의 분별력을 향상시키고, 프론트엔드 인식 최적화를 통해 학습 손실의 균형을 맞춤으로써, 잘못된 경고를 줄이고 프론트엔드-백그라운드 클래스 불균형을 완화한다. iSAID 검증 세트에서 63.71%의 mIoU를 기록하여 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Geospatial object segmentation, as a particular semantic segmentation task, always faces with larger-scale variation, larger intra-class variance of background, and foreground-background imbalance in the high spatial resolution (HSR) remote sensing imagery. However, general semantic segmentation methods mainly focus on scale variation in the natural scene, with inadequate consideration of the other two problems that usually happen in the large area earth observation scene. In this paper, we argue that the problems lie on the lack of foreground modeling and propose a foreground-aware relation network (FarSeg) from the perspectives of relation-based and optimization-based foreground modeling, to alleviate the above two problems. From perspective of relation, FarSeg enhances the discrimination of foreground features via foreground-correlated contexts associated by learning foreground-scene relation. Meanwhile, from perspective of optimization, a foreground-aware optimization is proposed to focus on foreground examples and hard examples of background during training for a balanced optimization. The experimental results obtained using a large scale dataset suggest that the proposed method is superior to the state-of-the-art general semantic segmentation methods and achieves a better trade-off between speed and accuracy. Code has been made available at: \url{https://github.com/Z-Zheng/FarSeg}.

연구 동기 및 목표

• 고해상도(HSR) 원격 감지 영상에서의 대규모 변동성, 높은 내부 클래스 배경 변동성, 프론트엔드-백그라운드 클래스 불균형 문제를 해결한다.
• 광범위한 지구 관측 영상에서 프론트엔드 오브젝트를 명시적으로 모델링하지 못하는 일반적인 세그멘테이션 방법의 한계를 극복한다.
• 지오스페이셜 영상에서 복잡하고 다양한 배경으로 인한 잘못된 경고를 줄인다.
• 프론트엔드와 백그라운드 예제 간 최적화 과정의 균형을 맞춤으로써 학습 효율성과 모델의 강건성을 향상시킨다.
• 지오스페이셜 오브젝트 세그멘테이션 작업에서 속도와 정확도 사이의 더 나은 트레이드오프를 달성한다.

제안 방법

• 장면 표현을 위한 공통 백본과 전용 프론트엔드 브랜치를 갖춘 피처 피라미드 네트워크(FPN) 기반의 다중 브랜치 인코더를 설계하여 다중 해상도 특징을 추출한다.
• 지오스페이셜 장면과 프론트엔드 오브젝트 간의 상호보완적 관계를 학습하기 위해 프론트엔드-스냅샷 관계(F-S) 모듈을 도입하여 맥락 연관을 통해 프론트엔드 특징의 분별력을 향상시킨다.
• 쉬운 백그라운드 예제의 가중치를 동적으로 낮추고 하드 예제에 집중함으로써 손실 기여도를 균형 잡는 프론트엔드 인식(F-A) 최적화 전략을 구현한다.
• 손실 분포를 안정화시키기 위해 정규화 기법을 적용하며, 합을 변경하지 않아 학습 중 기울기 소실을 방지한다.
• 초기 학습 단계에서 정확한 하드 예제 추정이 어려운 점을 보완하기 위해 동적 가중치 단계에서 코사인, 선형, 다항식 함수를 사용한 안내 함수를 적용한다.
• 포칼 손실의 집중 요소 γ를 조정하여 하드 예제의 가중치를 조절하며, γ = 2일 때 최적의 성능을 달성한다.

실험 결과

연구 질문

• RQ1 명시적인 프론트엔드 모델링이 고해상도 원격 감지 영상의 지오스페이셜 오브젝트 세그멘테이션에서 잘못된 경고를 줄일 수 있는가?
• RQ2 프론트엔드-스냅샷 관계 학습은 복잡한 배경에서 프론트엔드 특징의 분별력을 어떻게 향상시키는가?
• RQ3 프론트엔드 인식 최적화는 학습 중 프론트엔드-백그라운드 클래스 불균형을 어느 정도 완화할 수 있는가?
• RQ4 안정적이고 효과적인 학습을 위해 집중 요소 γ와 안내 함수의 최적 구성은 무엇인가?
• RQ5 제안된 방법은 최신 기술 수준의 일반적인 세그멘테이션 모델 대비 속도와 정확도 사이의 더 나은 균형을 달성하는가?

주요 결과

• 프론트엔드-스냅샷 관계 모듈은 프론트엔드 관련 맥락을 연관시켜 특징의 분별력을 향상시키며, 항구나 공항과 같은 복잡한 장면에서 잘못된 경고를 감소시킨다.
• 프론트엔드 인식 최적화 전략은 기본 모델과 F-S 관계 강화 모델에 각각 2.2%와 3.24%의 mIoU 향상을 이끌어내며, 추가적인 계산 비용 없이도 성능 향상을 달성한다.
• 손실 분포의 정규화는 학습 안정성을 크게 향상시키며, 간단한 소프트맥스 포칼 손실 대비 mIoU를 2.49% 향상시킨다.
• 코사인 안내 함수는 선형 및 다항식 유형보다 뛰어나며, 손실 가중치의 안정적이고 점진적인 조정을 가능하게 하여 mIoU를 0.63% 향상시킨다.
• 최적의 집중 요소 γ = 2는 iSAID 검증 세트에서 최고의 mIoU 63.71%를 달성하며, γ = 5일 경우 노이즈 레이블이 하드 예제로 잘못 분류되어 성능 저하가 발생한다.
• FarSeg는 대규모 HSR 원격 감지 데이터셋에서 검증된 바와 같이 뛰어난 속도-정확도 트레이드오프를 확보하며 최신 기술 수준의 성능을 달성한다.