[論文レビュー] Self Adversarial Training for Human Pose Estimation

Chia-Jung Chou, Jui-Ting Chien+1 more|arXiv (Cornell University)|Jul 8, 2017

Human Pose and Action Recognition参考文献 12被引用数 39

ひとこと要約

本稿では、同一のスタックドアワークラスネットワークを2つ用いた自己対抗的訓練フレームワークを提案する。1つはキーポイントのヒートマップを予測する生成器として、もう1つは妥当な身体構成と不適切な身体構成を区別するための識別器として機能する。対抗的損失により構造的一致性が強制され、LSP、MPII、LIPベンチマークにおいて最先端の性能を達成し、ベースラインのアワークラスネットワーク比で最高で1.8%のPCKh向上を達成した。

ABSTRACT

This paper presents a deep learning based approach to the problem of human pose estimation. We employ generative adversarial networks as our learning paradigm in which we set up two stacked hourglass networks with the same architecture, one as the generator and the other as the discriminator. The generator is used as a human pose estimator after the training is done. The discriminator distinguishes ground-truth heatmaps from generated ones, and back-propagates the adversarial loss to the generator. This process enables the generator to learn plausible human body configurations and is shown to be useful for improving the prediction accuracy.

研究の動機と目的

• 単一画像ポーズ推定において、特に遮蔽やごみの影響を受ける状況下でも不適切な身体構成を予測する課題に対処すること。
• 対抗的訓練を通じて構造的事前知識を組み込むことで、キーポイントヒートマップの予測を改善すること。
• 手作業で作成した事前知識や後処理のグラフィカルモデルに依存せずに、特徴表現学習を向上させること。
• 訓練後、識別器を削除することで推論効率を維持すること。

提案手法

• 同一のアーキテクチャを持つ二重スタックドアワークラスネットワークを用い、一方を生成器、他方を識別器として機能させる。
• 生成器は、マルチスケールでボトムアップかつトップダウンの推論メカニズムを用いて、入力画像からキーポイント位置のヒートマップを生成する。
• 識別器は、生成されたヒートマップが真値ヒートマップと比較して構造的に妥当かどうかを評価する。
• ミニマックス損失を用いた対抗的訓練により、生成器が識別器をだませるように更新され、予測されたポーズの現実性と正確性が向上する。
• 識別器の役割としてのレビュアーとしての機能以外に、アーキテクチャに変更を加えず、標準的なGANの訓練ダイナミクスを用いる。
• 訓練後、識別器は破棄され、推論には生成子のみが残るため、実行時オーバーヘッドが生じない。

実験結果

リサーチクエスチョン

• RQ1 共通アーキテクチャを持つ識別器を用いた対抗的訓練は、単一画像推定における予測された人間のポーズの構造的妥当性を向上させることができるか？
• RQ2 ヒートマップの現実性を学習した識別器を用いることで、標準的なスタックドアワークラスネットワークと比較して、キーポイントの局所化精度が向上するか？
• RQ3 対抗的損失の導入が、異なるネットワークの深さにおける収束速度と最終的性能に与える影響は何か？
• RQ4 識別器の性能は入力画像の文脈に依存するのか、それともヒートマップそのものだけでポーズの妥当性を評価できるのか？
• RQ5 精度と訓練安定性の観点から、ネットワークの深さと対抗的正則化の最適なトレードオフは何か？

主な発見

• 提案手法はLSPデータセットにおいて最先端の性能を達成し、PCKhが98.2%に達し、ベースラインのスタックドアワークラスネットワークを上回った。
• MPIIデータセットではPCKhが91.8%を達成し、ベースラインのスタックドアワークラスネットワーク比で1.8%の向上を示した。
• LIPデータセットでは総合PCKが87.4%を達成し、先行手法のHybrid Pose Machine（77.2%）やBUPTMM-POSE（80.2%）を上回った。
• 対抗的訓練により収束が速くなり、特に1スタックおよび2スタックの構成で最終的な精度が向上した。4スタックアワークラス＋識別器は、8スタックのベースラインを上回った。
• 画像の文脈がなくても識別器が有効であるため、ポーズ構造そのものが、妥当な構成と不適切な構成を区別するのに十分な手がかりを提供することが示された。
• 特に深層アーキテクチャにおいて、エポック60で学習率を減衰させることで、安定性と性能が向上した。