[論文レビュー] Efficient Object Localization Using Convolutional Networks

Jonathan Tompson, Ross Goroshin+3 more|arXiv (Cornell University)|Nov 16, 2014

Human Pose and Action Recognition参考文献 21被引用数 27

ひとこと要約

本論文では、粗いヒートマップ回帰モデルと微細な位置補正モジュールを同時に訓練することで、人間の関節位置推定の精度を向上させる段階的畳み込みニューラルネットワークアーキテクチャを提案する。この手法は、プーリング層によって失われる位置精度を回復し、計算コストの増加を最小限に抑えながら、FLICおよびMPIIデータセットで最先端の性能を達成する。

ABSTRACT

Recent state-of-the-art performance on human-body pose estimation has been achieved with Deep Convolutional Networks (ConvNets). Traditional ConvNet architectures include pooling and sub-sampling layers which reduce computational requirements, introduce invariance and prevent over-training. These benefits of pooling come at the cost of reduced localization accuracy. We introduce a novel architecture which includes an efficient `position refinement' model that is trained to estimate the joint offset location within a small region of the image. This refinement model is jointly trained in cascade with a state-of-the-art ConvNet model to achieve improved accuracy in human joint location estimation. We show that the variance of our detector approaches the variance of human annotations on the FLIC dataset and outperforms all existing approaches on the MPII-human-pose dataset.

研究の動機と目的

• プーリング層による空間解像度の低下が引き起こす計算効率と位置精度のトレードオフを解消すること。
• モデル効率を損なわず、推論コストを増加させることなく、単眼RGB画像における関節位置の精度を向上させること。
• プーリング処理で失われる微細な空間的詳細を、粗い検出ネットワークと段階的に訓練される位置補正モジュールを導入することで回復する手法を開発すること。
• 単一スケールの推論を用いることでリアルタイム適用を維持しつつ、ベンチマークデータセット（FLICおよびMPII-human-pose）で最先端の性能を達成すること。

提案手法

• 画像全体の関節の尤度を示す低解像度のヒートマップを生成する粗い畳み込みネットワークを訓練する。
• 粗いモデルの途中層の特徴を用いて、局所領域内のサブピクセル単位の関節オフセットを予測する段階的補正ネットワークを導入する。
• 粗いヒートマップ回帰と微細なオフセット予測の両方を含む共有の目的関数を用いて、両ネットワークを同時に訓練し、相互に正則化を促進する。
• 過学習を軽減し、強い偽のヒートマップ外れを抑制するために、訓練時にSpatialDropoutを適用し、一般化性能と高精度領域の位置精度を向上させる。
• 訓練時にはマルチスケール推論を適用するが、テスト時には単一スケール推論を可能にすることで、リアルタイムデプロイメントを実現しつつ、スケール不変性を学習する。
• 深層ConvNetの階層的特徴階層を活用し、ピクセルレベルでの正確な位置特定に役立つ文脈を豊富に含む表現を抽出する。

実験結果

リサーチクエスチョン

• RQ1 標準的なConvNetsにおけるプーリング処理によって失われる位置精度は、顕著な計算コストの増加なしに回復可能か？
• RQ2 粗いヒートマップ予測と微細なオフセット補正を組み合わせた段階的アーキテクチャは、ベンチマークデータセットにおける関節位置推定性能を向上させるか？
• RQ3 SpatialDropoutはヒートマップ予測における一般化性能と外れ値反応の低減にどの程度寄与するか？
• RQ4 元のスケールの画像で学習されたモデルは、テスト時のスケール正規化なしに依然として最先端の性能を達成できるか？これは、内在的なスケール不変性を示唆する。

主な発見

• 提案モデルは、MPII-human-poseデータセットにおいて、0.5の正規化距離でのPCKhスコア82.0を達成し、すべての先行手法を上回った。
• FLICデータセットでは、手首関節の0.05の正規化距離でのPCKスコアが60.4%に達し、以前のSOTAの55.4%を顕著に上回った。
• 元のスケールの画像（正規化なし）で学習されたモデルでさえ、MPIIで73.3%のPCKhを達成しており、明示的な正規化なしに強いスケール不変性を示した。
• SpatialDropoutはヒートマップの外れ値反応を低減させ、特に手首など難しい関節において性能向上をもたらした。
• 両データセットの全関節において一貫した向上が観察されたことから、共同訓練を施した段階的アーキテクチャは過学習を低減させ、一般化性能を向上させた。
• 本モデルは、FLICおよびMPIIデータセットの両方で最先端の結果を達成し、論文発表当時、文献に記録された最高のPCKhおよびPCKスコアを記録した。