[논문 리뷰] PointFlow: Flowing Semantics Through Points for Aerial Image Segmentation

Xiangtai Li, Hao He외 7명|arXiv (Cornell University)|2021. 03. 11.

Advanced Neural Network Applications참고 문헌 65인용 수 7

한 줄 요약

이 논문은 공중 영상 분할에서 전경-배경 클래스 불균형과 소형 객체 분할 과제를 해결하기 위해 새로운 점별 유사도 전파 모듈인 PointFlow를 제안한다. 이중 점 매칭기( dual point matcher)를 사용하여 주목할 만한 점과 경계 점을 선별함으로써 PointFlow는 특징 피라미드 수준 간에 효율적이고 희소한 유사도 학습을 가능하게 하여 세 가지 공중 영상 벤치마크에서 최신 기술 수준의 정확도와 속도를 달성하고 일반 분할 데이터셋에서도 뛰어난 성능을 보인다.

ABSTRACT

Aerial Image Segmentation is a particular semantic segmentation problem and has several challenging characteristics that general semantic segmentation does not have. There are two critical issues: The one is an extremely foreground-background imbalanced distribution, and the other is multiple small objects along with the complex background. Such problems make the recent dense affinity context modeling perform poorly even compared with baselines due to over-introduced background context. To handle these problems, we propose a point-wise affinity propagation module based on the Feature Pyramid Network (FPN) framework, named PointFlow. Rather than dense affinity learning, a sparse affinity map is generated upon selected points between the adjacent features, which reduces the noise introduced by the background while keeping efficiency. In particular, we design a dual point matcher to select points from the salient area and object boundaries, respectively. Experimental results on three different aerial segmentation datasets suggest that the proposed method is more effective and efficient than state-of-the-art general semantic segmentation methods. Especially, our methods achieve the best speed and accuracy trade-off on three aerial benchmarks. Further experiments on three general semantic segmentation datasets prove the generality of our method. Code will be provided in (https: //github.com/lxtGH/PFSegNets).

연구 동기 및 목표

• 공중 영상 분할에서 심각한 전경-배경 클래스 불균형과 복잡한 배경을 해결한다.
• 고해상도 위성 영상에서 노이즈가 많은 배경 맥락으로 인해 밀도 높은 유사도 학습 방법이 실패하는 문제를 해결한다.
• 특징 피라미드에서 고해상도와 저해상도 특징 간의 의미적 갭을 해소하여 소형 객체 이해를 향상시킨다.
• 계산 비용을 줄이면서도 분할 정확도를 향상시키는 효율적인 희소 정보 전파 메커니즘을 개발한다.
• 제안된 방법이 공중 영상뿐만 아니라 일반 목적의 의미 분할 벤치마크에서도 일반화됨을 입증한다.

제안 방법

• 접근한 특징 피라미드 수준 간에 선택된 핵심 점들 위에서 작동하는 희소 유사도 전파 메커니즘인 PointFlow 모듈(PFM)을 제안한다.
• 주목할 만한 영역(감성 맵에 대한 최대 풀링을 통한)과 객체 경계(기초 기반 경계 예측을 통한)에서 점들을 선별하는 이중 점 매칭기(dual point matcher)를 설계한다.
• 다른 특징 수준에서 매칭된 점들로부터 추출한 특징을 사용하여 점별 유사도를 추정함으로써 배경 영역에서 발생하는 노이즈를 감소시킨다.
• 높은 레벨의 특징을 낮은 레벨로 융합하는 과정이 학습된 희소 유사도 맵에 의해 안내되며, 이는 소형 객체에 대한 의미 표현을 향상시킨다.
• PFNet을 구축하기 위해 FPN 프레임워크에 PFM을 통합하여 경량이고 효율적인 분할 네트워크를 설계한다.
• 벤치마크 데이터셋에서의 일반화 성능 향상을 위해 수평 반전 증강과 함께 다중 해상도 추론 전략을 사용한다.

Figure 1: Illustration of an aerial image segmentation example and our proposed module. The first row presents the input image and ground truth with complex backgrounds and small objects. The second row indicates the schematic diagram on dense affinity propagation and our proposed point-based propag

실험 결과

연구 질문

• RQ1 극심한 전경-배경 불균형 조건에서 공중 영상 분할에서 희소적이고 점 기반의 유사도 학습이 밀도 높은 유사도 학습을 능가할 수 있는가?
• RQ2 이중 점 매칭기가 주목할 만한 영역과 객체 경계에서 정보가 풍부한 점들을 효과적으로 선별하여 특징 전파를 향상시키는 데 얼마나 효과적인가?
• RQ3 제안된 PointFlow 모듈이 복잡한 배경에서 발생하는 노이즈를 줄이면서도 분할 정확도를 유지하거나 향상시키는가?
• RQ4 PFNet이 공중 영상 분할 벤치마크에서 최신 기술 수준의 방법들과 비교해 정확도-속도 트레이드오프를 얼마나 잘 달성하는가?
• RQ5 제안된 모듈이 공중 영상 외의 일반 목적의 의미 분할 데이터셋에도 일반화 가능한가?

주요 결과

• iSAID에서 PFNet은 70.4% mIoU를 기록하여 이전 최신 기술 수준의 방법인 FarSeg를 3.2% 포인트 뛰어넘었다.
• Vaihingen에서 PFNet은 75.4% mIoU를 기록하여 HRNet-W18과 GSCNN을 포함한 모든 비교 방법을 뛰어넘었다.
• Potsdam에서 PFNet은 클러스터/배경 카테고리에서 91.1% mIoU를 기록하여 복잡한 배경 영역에서도 뛰어난 성능을 보였다.
• 세 가지 공중 영상 벤치마크에서 모든 평가 모델 중에서 가장 뛰어난 정확도-속도 트레이드오프를 달성하였으며, iSAID의 경우 64.6 GFLOPs를 소비했다.
• 일반 분할 데이터셋(Cityscapes, ADE20k, BDD)에서 PFNet은 EMANet 및 RANet와 같은 이전 방법들보다 훨씬 적은 GFLOPs로 경쟁 가능한 mIoU 점수를 기록했다.
• 시각화 결과는 PFNet이 특히 소형 타겟이 많은 복잡한 환경에서 소형 객체를 더 잘 유지하고 분할 尾(꼬리)를 줄이는 데에 뛰어난 성능을 보임을 확인했다.

Figure 2: (a), The overal pipeline of our proposed PointFlow Module. Left: Two adjacent features with one salient map are sent to the Dual Index Generator to obtain the sampled indexes. Right: The sampled point features are propagated from top to the bottom and finally scattered into the low level f