[論文レビュー] AID: Pushing the Performance Boundary of Human Pose Estimation with Information Dropping Augmentation

Junjie Huang, Zheng Zhu+2 more|arXiv (Cornell University)|Aug 17, 2020

Human Pose and Action Recognition参考文献 49被引用数 12

ひとこと要約

本稿では、人間のポーズ推定における過学習を是正し、構造的制約の特徴を学習を促進するために、トレーニング中にキーポイントの外見特徴をランダムに抑制するデータ拡張手法「情報ドロップによる拡張（AID）」を提案する。AIDは、COCOでは最大1.5 AP、CrowdPoseでは1.5 APを超える向上を、特に初期学習の不安定性を緩和するカスタマイズされたトレーニングスケジュールと組み合わせることで、最先端モデルに一貫して効果を発揮する。

ABSTRACT

Both appearance cue and constraint cue are vital for human pose estimation. However, there is a tendency in most existing works to overfitting the former and overlook the latter. In this paper, we propose Augmentation by Information Dropping (AID) to verify and tackle this dilemma. Alone with AID as a prerequisite for effectively exploiting its potential, we propose customized training schedules, which are designed by analyzing the pattern of loss and performance in training process from the perspective of information supplying. In experiments, as a model-agnostic approach, AID promotes various state-of-the-art methods in both bottom-up and top-down paradigms with different input sizes, frameworks, backbones, training and testing sets. On popular COCO human pose estimation test set, AID consistently boosts the performance of different configurations by around 0.6 AP in top-down paradigm and up to 1.5 AP in bottom-up paradigm. On more challenging CrowdPose dataset, the improvement is more than 1.5 AP. As AID successfully pushes the performance boundary of human pose estimation problem by considerable margin and sets a new state-of-the-art, we hope AID to be a regular configuration for training human pose estimators. The source code will be publicly available for further research.

研究の動機と目的

• 深層学習モデルが人間のポーズ推定において外見特徴に過学習する傾向を診断し、是正すること。
• 標準的なトレーニングスケジュールを用いた場合、既存の情報ドロップ手法が性能向上に寄与しない理由を調査すること。
• 情報ドロップ拡張（AID）を効果的に活用できるようにカスタマイズされたトレーニングスケジュールを開発すること。
• AIDがトップダウンおよびボトムアップの両パラダイムにおいて、多様なアーキテクチャ、バックボーン、入力サイズ、データセットにわたって一般化可能で効果的であることを示すこと。

提案手法

• AIDは、トレーニング中にキーポイント周辺の外見情報に対して局所的かつランダムに抑制を加える一方で、応答マップの監視を維持する。
• この手法は、モデルが構造的・相関的制約に依存するよう挑戦するように設計されたデータ拡張戦略として適用される。
• 損失と性能のダイナミクスの分析に基づき、外見特徴が乏しい初期学習段階での安定性を向上させるために、カスタマイズされたトレーニングスケジュールを設計する。
• トレーニング期間の延長や、AIDなしの事前学習の後にAIDを用いたファインチューニングを行う段階的トレーニングを含むスケジュールが採用される。
• AIDの有効性は、HRNetやHigherHRNetを含む複数の最先端モデルを用いて、トップダウンおよびボトムアップのポーズ推定フレームワークで評価される。
• Cutout、HaS、GridMaskといった異なる情報ドロップ手法のハイパーパrameterを調整し、公平な比較が可能なように初期損失レベルを同等に保つ。

実験結果

リサーチクエスチョン

• RQ1 情報ドロップ拡張が正則化の可能性を有するにもかかわらず、なぜ標準的なトレーニングスケジュールを用いた場合、人間のポーズ推定で性能向上に寄与しないのか？
• RQ2 最適化されたトレーニングスケジュールと組み合わせた場合、情報ドロップはどの程度性能向上をもたらすのか？
• RQ3 AIDは、遮蔽や曖昧なキーポイント外見といった困難な条件下でのモデル一般化にどのように影響を与えるか？
• RQ4 トップダウンとボトムアップのポーズ推定パラダイムにおいて、Cutout、HaS、GridMaskのうちどの情報ドロップ手法が最も優れた性能を発揮するか？
• RQ5 AIDは、多様なモデルやデータセットにおいて標準的なトレーニング設定として用いられ、性能向上を実現できるか？

主な発見

• AIDは、さまざまな設定においてCOCOテストセットでトップダウンポーズ推定モデルを約0.6 AP向上させる。
• ボトムアップパラダイムでは、COCOデータセットでAIDが最大1.5 AP向上を達成する。
• より困難なCrowdPoseデータセットでは、AIDは複数の設定で1.5 APを超える向上を達成する。
• AIDの性能向上は、特に延長トレーニングや事前学習を経た段階的トレーニングを組み合わせたカスタマイズされたトレーニングスケジュールと組み合わせた場合に顕著に顕在される。
• 検証された情報ドロップ手法の中で、ボトムアップパラダイムではHaSが最も優れた性能を示し、トップダウンパラダイムではCutoutがわずかに優位性を示す。
• 定性的な結果から、AIDで学習されたモデルは、曇蔽や曖昧な状況下でもより正確で現実的と思われるキーポイント予測を生成することが分かった。