[논문 리뷰] SAPA: Similarity-Aware Point Affiliation for Feature Upsampling

Hao Lu, Wenze Liu외 4명|arXiv (Cornell University)|2022. 09. 26.

Advanced Image and Video Retrieval Techniques인용 수 25

한 줄 요약

SAPA는 유사성 인식 포인트 소속을 도입하여 업샘플링 커널을 생성하고, 경계 선명도와 의미적 일관성을 개선하며, 세그멘테이션 및 매팅에서 강력한 이득을 얻습니다.

ABSTRACT

We introduce point affiliation into feature upsampling, a notion that describes the affiliation of each upsampled point to a semantic cluster formed by local decoder feature points with semantic similarity. By rethinking point affiliation, we present a generic formulation for generating upsampling kernels. The kernels encourage not only semantic smoothness but also boundary sharpness in the upsampled feature maps. Such properties are particularly useful for some dense prediction tasks such as semantic segmentation. The key idea of our formulation is to generate similarity-aware kernels by comparing the similarity between each encoder feature point and the spatially associated local region of decoder features. In this way, the encoder feature point can function as a cue to inform the semantic cluster of upsampled feature points. To embody the formulation, we further instantiate a lightweight upsampling operator, termed Similarity-Aware Point Affiliation (SAPA), and investigate its variants. SAPA invites consistent performance improvements on a number of dense prediction tasks, including semantic segmentation, object detection, depth estimation, and image matting. Code is available at: https://github.com/poppinace/sapa

연구 동기 및 목표

• 특징 업샘플링에서 포인트 소속의 개념을 도입하여 업샘플링된 포인트를 의미 클러스터에 더 잘 할당합니다.
• 인코더-디코더 특징 간의 국소적 상호 유사성을 활용하는 일반적이고 유사도 기반 커널 생성 프레임워크를 제안합니다.
• SAPA를 가볍운 업샘플링 연산자로 구체화하고, 여러 밀집 예측 작업에서 그 변형들을 연구합니다.

제안 방법

• 로컬 윈도우 내의 인코더-디코더 특징 쌍에 조건화된 업샘플링 커널을 생성하기 위한 로컬 상호 유사성 공식화(정의)를 정의합니다.
• 유사도 점수의 정규화를 사용하여 균일한 영역에서 의미적 매끄러움과 모서리에서 경계 선명도를 얻는 커널 가중치를 얻습니다.
• 다른 유사도 함수들로 SAPA 변형들을 구체화합니다: inner-product, (low-rank) bilinear, 그리고 gated bilinear, 인코더 노이즈를 필터링하는 게이팅 메커니즘 포함.
• 유사성 이전에 인코더와 디코더 특징에 레이어 정규화를 적용하여 안정적인 비교를 보장합니다.
• Semantic segmentation, object detection, depth estimation, image matting 전반에서 SAPA를 CARAFE, IndexNet, A2U 및 베이스라인과 비교합니다.

실험 결과

연구 질문

• RQ1 유사성 인식 포인트 소속이 기존의 다이내믹 업샘플링 연산자에 비해 의미 구조와 경계를 더 잘 보존하도록 업샘플링 품질을 개선합니까?
• RQ2 SAPA가 서로 다른 백본과 데이터셋에서 여러 밀집 예측 작업에 대해 개선을 달성할 수 있습니까?
• RQ3 유사도 선택, 정규화, 커널 크기, 임베딩 차원이 SAPA 성능에 어떤 영향을 미칩니까?
• RQ4 SAPA의 매개변수 수와 FLOPs가 다른 다이내믹 업샘플링 방법에 비해 어떤지?

주요 결과

• SAPA는 ADE20K에서 강력한 트랜스포머 기반 베이스라인(예: SegFormer, MaskFormer, Mask2Former)에 통합될 때 다른 업샘플링 연산자들보다 일관되게 우수한 성능을 보입니다.
• SAPA 변형(I, B, G)은 세그메ntation 실험에서 CARAFE 및 다른 베이스라인보다 더 나은 mIoU를 달성하며, SAPA-G가 보통 최고의 이득을 제공합니다.
• SAPA는 MS COCO에서 Faster R-CNN에 대한 객체 탐지 AP를 일부 구성에서 약간 향상시키지만, 세부 정보 대 영역 무결성에 대한 작업 민감도가 다르기 때문에 이 작업에서 CARAFE보다 열세일 수 있습니다.
• Depth estimation 및 image matting에서 SAPA가 경쟁 업샘플링 방법들보다 우수하며, Adobe Composition-1k의 matting 메트릭(SAD, MSE, Grad, Conn)에서 두드러진 이득을 보입니다.
• Ablation 연구는 게이팅된 이중선형 유사도가 종종 최상의 성능을 낳고, 지수 정규화(softmax)가 실험된 정규화 중 일반적으로 최상의 성능을 보인다는 것을 보여줍니다.
• SAPA는 가볍고, inner-product 변형에서 추가 매개변수 없이 작동할 수 있으며, CARAFE 및 다른 방법과 비교했을 때 FLOPs 및 매개변수 수가 경쟁력 있습니다.