[論文レビュー] Multi-Person Pose Estimation with Enhanced Channel-wise and Spatial Information

Kai Su, Dongdong Yu+3 more|arXiv (Cornell University)|May 9, 2019

Human Pose and Action Recognition参考文献 25被引用数 8

ひとこと要約

本稿では、チャネルシャッフルモジュール（CSM）を導入してクロススケールのチャネルワイズ特徴の通信を強化し、空間的・チャネルワイズ注意メカニズムを統合した残差ブロックス（SCARB）を用いて情報量の多い空間的およびチャネル特徴を適応的に強調することで、マルチペルソンポーズ推定のための新しいトップダウンアプローチを提案する。本手法は、ResNet-152バックボーンを用いてCOCO test-devデータセットで74.6 APの最先端性能を達成した。

ABSTRACT

Multi-person pose estimation is an important but challenging problem in computer vision. Although current approaches have achieved significant progress by fusing the multi-scale feature maps, they pay little attention to enhancing the channel-wise and spatial information of the feature maps. In this paper, we propose two novel modules to perform the enhancement of the information for the multi-person pose estimation. First, a Channel Shuffle Module (CSM) is proposed to adopt the channel shuffle operation on the feature maps with different levels, promoting cross-channel information communication among the pyramid feature maps. Second, a Spatial, Channel-wise Attention Residual Bottleneck (SCARB) is designed to boost the original residual unit with attention mechanism, adaptively highlighting the information of the feature maps both in the spatial and channel-wise context. The effectiveness of our proposed modules is evaluated on the COCO keypoint benchmark, and experimental results show that our approach achieves the state-of-the-art results.

研究の動機と目的

• マルチスケール特徴マップにおけるチャネルおよび空間情報の利用が限定的であるという課題に対処すること。
• 特徴ピラミッド内の異なる解像度レベル間での通信を強化することで、特徴表現を向上させること。
• 注意メカニズムを用いて、統合された特徴マップにおける最も関連性の高い空間的およびチャネルワイズ特徴を適応的に強調すること。
• トップダウンフレームワークを用いて、COCOキーポイントベンチマークで最先端の性能を達成すること。

提案手法

• チャネルシャッフルモジュール（CSM）は、異なる解像度レベル（Conv-2 から Conv-5）の特徴マップに対してチャネルシャッフル操作を適用し、低レベルと高レベルの特徴間のクロスチャネル情報伝達を促進する。
• CSMは、次元削減後のシャッフル特徴マップ（S-Conv-2 から S-Conv-5）と元の特徴マップ（Conv-2 から Conv-5）を組み合わせることで、強化されたピラミッド特徴を形成する。
• 空間的・チャネルワイズ注意メカニズムを統合した残差ブロック（SCARB）は、空間的およびチャネル次元における特徴応答を適応的に再キャリブレーションする。
• SCARBは特徴統合後にスタックされ、強化されたピラミッド特徴を精錬し、キーポイント予測のための表現品質を向上させる。
• 本手法は、L2損失とオンラインハードキーポイントマイニングを用いて訓練するためのカスケードドピラミッドネットワーク（CPN）フレームワーク内で評価される。
• モデル推論では、反転および回転された入力を用いたテスト時増強を適用し、ロバストネスと性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 マルチスケール特徴マップにおけるチャネルシャッフル操作は、クロスチャネル通信を向上させ、ポーズ推定の精度を向上させることができるか？
• RQ2 残差ブロック内での空間的およびチャネルワイズの統合的注意メカニズムは、マルチペルソンポーズ推定の特徴表現をどの程度向上させることができるか？
• RQ3 統合された特徴におけるチャネルワイズおよび空間的情報の強化は、COCOベンチマークで一貫した性能向上をもたらすか？
• RQ4 人間検出の品質が異なる条件下で、本手法の性能は最先端手法と比較してどの程度優れているか？

主な発見

• 本手法は、テスト時増強を適用したResNet-152バックボーンを用いて、COCO test-devデータセットで74.6 APを達成し、従来の最先端手法を上回った。
• 追加のトレーニングデータなしで単一モデルを用いた場合、ResNet-152バックボーンと384×288の入力サイズを用いてCOCO test-devで74.3 APを達成した。
• 同じ入力サイズ（256×192）を用いた場合、ベースラインのCPNと比較して2.7 AP向上を達成し、提案モジュールの有効性を示した。
• シンプルベースライン（60.9）よりも低い人間検出AP（58.1）を示した状況でも、本手法は74.3 vs. 73.8のポーズ推定APを達成し、検出器の品質よりもポーズ推定器の品質が重要であることを示した。
• 可視化結果から、CPNが失敗するような困難な状況（遮蔽や密接な相互作用）においても、本手法はより優れた一般化性能を示した。
• アブレーションスタディの結果、CSMおよびSCARBの両方が顕著な貢献を示しており、特にベースラインに追加された際、SCARBが最大の性能向上をもたらした。