[논문 리뷰] Polarized Self-Attention: Towards High-quality Pixel-wise Regression

Huajun Liu, Fuqiang Liu외 2명|arXiv (Cornell University)|2021. 07. 02.

Advanced Neural Network Applications참고 문헌 59인용 수 152

한 줄 요약

본 논문은 Polarized Self-Attention (PSA)를 도입합니다. 채널과 공간 분기에 높은 내부 해상도를 보존하는 플러그인 형태의 블록이며, Softmax-Sigmoid 비선형을 사용하여 픽셀 단위 회귀 출력에 더 잘 맞게 하고 포즈 추정 및 분할 벤치마크에서 성능을 향상시킵니다.

ABSTRACT

Pixel-wise regression is probably the most common problem in fine-grained computer vision tasks, such as estimating keypoint heatmaps and segmentation masks. These regression problems are very challenging particularly because they require, at low computation overheads, modeling long-range dependencies on high-resolution inputs/outputs to estimate the highly nonlinear pixel-wise semantics. While attention mechanisms in Deep Convolutional Neural Networks(DCNNs) has become popular for boosting long-range dependencies, element-specific attention, such as Nonlocal blocks, is highly complex and noise-sensitive to learn, and most of simplified attention hybrids try to reach the best compromise among multiple types of tasks. In this paper, we present the Polarized Self-Attention(PSA) block that incorporates two critical designs towards high-quality pixel-wise regression: (1) Polarized filtering: keeping high internal resolution in both channel and spatial attention computation while completely collapsing input tensors along their counterpart dimensions. (2) Enhancement: composing non-linearity that directly fits the output distribution of typical fine-grained regression, such as the 2D Gaussian distribution (keypoint heatmaps), or the 2D Binormial distribution (binary segmentation masks). PSA appears to have exhausted the representation capacity within its channel-only and spatial-only branches, such that there is only marginal metric differences between its sequential and parallel layouts. Experimental results show that PSA boosts standard baselines by $2-4$ points, and boosts state-of-the-arts by $1-2$ points on 2D pose estimation and semantic segmentation benchmarks.

연구 동기 및 목표

• 높은 해상도 특징을 비교적 낮은 비용으로 보존해야 하는 픽셀 단위 회귀 문제를 동기 부여하고 해결합니다.
• 채널 및 공간 차원 모두에서 높은 내부 해상도를 유지하는 주의 블록을 개발합니다.
• 일반적인 픽셀 단위 회귀 출력(가우시안 열지도, 이항 마스크)에 맞춘 비선형성(Softmax-Sigmoid)을 설계합니다.
• PSA가 표준 베이스라인 및 SOTA 모델에 적용될 때 일관된 개선을 제공함을 입증합니다.

제안 방법

• 채널 전용 가지와 공간 전용 가지의 두 가지 편파화된 분기로 PSA를 제안하며, 각 분기가 높은 해상도 주의 계산을 보존합니다.
• 주의 내에서 높은 채널 해상도(C/2)와 전체 공간 해상도 [W, H]를 유지하되, 반대 차원에서 입력을 축소합니다.
• 병목에서 Softmax를 사용하고 Sigmoid 톤-매핑(Softmax-Sigmoid 구성)을 적용하여 2D 가우시안 열지도와 2D 이항 분할 맵에 맞춥니다.
• 병렬(A^ch + A^sp) 및 순차(A^sp(A^ch(X))) 구성 형태를 제공하며, 성능 차이는 미미합니다.
• ResNet 및 HRNet과 같은 백본의 잔차 블록 내 첫 번째 3x3 컨볼루션 뒤에 PSA를 삽입하되 오버헤드는 최소화합니다.
• 2D 인간 포즈 추정(MS-COCO) 및 의미 분할(PASCAL VOC2012, Cityscapes)에서 PSA를 벤치마크 및 SOTA 모델과 비교 평가합니다.

실험 결과

연구 질문

• RQ1 편파 필터링이 적용된 고해상도 주의 블록이 과도한 계산 없이 픽셀 단위 회귀를 개선할 수 있을까요?
• RQ2 주의에서 채널 및 공간 해상도를 보존하고 분포 매칭 비선형성을 함께 사용할 때, 관절점 열지도와 분할 마스크에서 측정 가능한 이점을 얻을 수 있을까요?
• RQ3 병렬 PSA 구성과 순차 PSA 구성이 서로 다르게 효과적이거나 성능 및 비용 면에서 큰 차이가 있을까요?
• RQ4 강력한 베이스라인 및 SOTA 모델에 PSA를 적용했을 때의 성능은 어떨까요?
• RQ5 일반 DCNN 헤드에 PSA를 삽입할 때 정확도 향상과 계산/메모리 오버헤드 간의 트레이드오프는 어떻게 되나요?

주요 결과

• PSA는 포즈 추정 작업에서 베이스라인을 약 2–4 AP 상승시킵니다.
• PSA는 2D 포즈 추정 벤치마크에서 SOTA 모델을 약 1–2 AP 상승시킵니다.
• 의미 분할에서 PSA는 테스트된 백본에서 +1.8–2.6 mIoU를 달성하고 HRNet-OCR+PSA 구성 하에서 Cityscapes의 새로운 SOTA를 달성합니다(86.95 mIoU).
• PSA는 더 높은 내부 주의 해상도(채널: C/2; 공간: [W, H])를 유지하고 Gaussian 열지도 및 Binomial 마스크에 더 잘 맞도록 Softmax-Sigmoid 비선형을 사용합니다.
• 병렬 및 순차 PSA 구성은 성능에서 미미한 차이만 보이며, FLOPs 및 파라미터 수가 비슷합니다.
• 변인 연구 결과 PSA의 채널 전용 분기(A^ch)가 종종 공간 전용(A^sp)보다 우수하고, 결합(PSA_p 또는 PSA_s)이 개별 분기보다 뛰어납니다.