[論文レビュー] Polarized Self-Attention: Towards High-quality Pixel-wise Regression

Huajun Liu, Fuqiang Liu+2 more|arXiv (Cornell University)|Jul 2, 2021

Advanced Neural Network Applications参考文献 59被引用数 152

ひとこと要約

本論文は Polarized Self-Attention (PSA) を導入する。これはチャネルと空間ブランチの高内部解像度を保持するプラグインブロックで、Softmax-Sigmoid の非線形性を用いてピクセル-wise 回帰出力により適合させ、姿勢推定とセマンティックセグメンテーションのベンチマークで性能を向上させる。

ABSTRACT

Pixel-wise regression is probably the most common problem in fine-grained computer vision tasks, such as estimating keypoint heatmaps and segmentation masks. These regression problems are very challenging particularly because they require, at low computation overheads, modeling long-range dependencies on high-resolution inputs/outputs to estimate the highly nonlinear pixel-wise semantics. While attention mechanisms in Deep Convolutional Neural Networks(DCNNs) has become popular for boosting long-range dependencies, element-specific attention, such as Nonlocal blocks, is highly complex and noise-sensitive to learn, and most of simplified attention hybrids try to reach the best compromise among multiple types of tasks. In this paper, we present the Polarized Self-Attention(PSA) block that incorporates two critical designs towards high-quality pixel-wise regression: (1) Polarized filtering: keeping high internal resolution in both channel and spatial attention computation while completely collapsing input tensors along their counterpart dimensions. (2) Enhancement: composing non-linearity that directly fits the output distribution of typical fine-grained regression, such as the 2D Gaussian distribution (keypoint heatmaps), or the 2D Binormial distribution (binary segmentation masks). PSA appears to have exhausted the representation capacity within its channel-only and spatial-only branches, such that there is only marginal metric differences between its sequential and parallel layouts. Experimental results show that PSA boosts standard baselines by $2-4$ points, and boosts state-of-the-arts by $1-2$ points on 2D pose estimation and semantic segmentation benchmarks.

研究の動機と目的

• 高解像度の特徴を modest cost で preserving するピクセル単位の回帰課題を動機づけ、対処する。
• チャネルと空間の両方で高い内部解像度を保つアテンションブロックを開発する。
• 2D ガウス熱マップや2D ビノミアルマスクに適合させる Softmax-Sigmoid のような非線形を設計する。
• PSA が標準のベースラインやSOTAモデルに組み込んだときに一貫した改善をもたらすことを示す。

提案手法

• PSA を二つの polarized ブランチ（チャネル専用ブランチと空間専用ブランチ）として提案し、それぞれ高解像度の注意計算を保持する。
• 入力を反対の次元に崩す一方で、チャネル解像度を C/2、空間解像度を [W, H] のまま注意を維持する。
• ボトルネックで Softmax、そしてトーンマッピングとして Sigmoid（Softmax-Sigmoid の組み合わせ）を用いて、2D ガウス熱マップと2D ビノミアル分割マップに適合させる。
• 平行（A^ch + A^sp）と逐次（A^sp(A^ch(X))）の組み合わせを提供し、性能の差はわずか。
• ResNet や HRNet のようなバックボーンの残差ブロック内の最初の3x3畳み込みの後に PSA を挿入し、オーバーヘッドは最小。
• PSA を MS-COCO の2D 人体姿勢推定と Pascal VOC2012、Cityscapes のセマンティックセグメンテーションで、ベースラインと最先端モデルに対して評価する。

実験結果

リサーチクエスチョン

• RQ1 高解像度の注意ブロックが polarized filtering を用いることで、膨大な計算なしにピクセル-wise 回帰を改善できるか。
• RQ2 注意におけるチャネルと空間解像度を保持し、分布を一致させる非線性と組み合わせることで、キーポイント熱マップやセグメンテーションマスクで顕著な利得が得られるか。
• RQ3 平行と逐次の PSA レイアウトは効果が異なるのか、それとも性能とコストにおいて大きく類似しているのか。
• RQ4 PSA が強力なベースラインおよび SOTA モデルに適用された場合、2D 姿勢推定とセグメンテーションでどうなるか。
• RQ5 PSA を一般的な DCNN ヘッドに挿入する際の精度向上と計算/メモリオーバーヘッドのトレードオフはどうなるか。

主な発見

• PSA は姿勢推定タスクのベースラインを約 2–4 AP 向上させる。
• PSA は 2D 姿勢推定ベンチマークで最先端モデルを約 1–2 AP 向上させる。
• セマンティックセグメンテーションでは、PSA が tested backbones 全体で +1.8–2.6 mIoU をもたらし、HRNet-OCR+PSA 構成で Cityscapes において新しい最先端を達成（86.95 mIoU）。
• PSA は内部注意解像度を高く保ち（チャネル: C/2; 空間: [W, H]）、ガウス熱マップとビノミアルマスクにより適合させる Softmax-Sigmoid 非線形を使用する。
• parallel および sequential PSA レイアウトは性能差がごく僅かで、FLOPs とパラメータ数も類似している。
• アブレーション研究は PSA のチャネル専用ブランチ（A^ch）が空間専用ブランチ（A^sp）をしばしば上回り、組み合わせ（PSA_p または PSA_s）が個別ブランチを上回ることを示している。