[論文レビュー] Pose2Instance: Harnessing Keypoints for Person Instance Segmentation

Subarna Tripathi, Maxwell D. Collins+2 more|arXiv (Cornell University)|Apr 4, 2017

Human Pose and Action Recognition参考文献 28被引用数 12

ひとこと要約

本論文では、人間のキーポoinトヒートマップを条件として用いることで、人物インスタンスセグメンテーションを向上させる深層学習フレームワークPose2Instanceを提案する。オラクルアノテーションまたは予測されたヒートマップから得られる距離変換済みキーポイント事前知識を活用することで、最先端のセグメンテーション専用モデルに比べて3.8%から10.5%の相対的精度向上を達成し、ポーズ事前知識がインスタンスレベルの人物セグメンテーションを顕著に向上させることを示している。

ABSTRACT

Human keypoints are a well-studied representation of people.We explore how to use keypoint models to improve instance-level person segmentation. The main idea is to harness the notion of a distance transform of oracle provided keypoints or estimated keypoint heatmaps as a prior for person instance segmentation task within a deep neural network. For training and evaluation, we consider all those images from COCO where both instance segmentation and human keypoints annotations are available. We first show how oracle keypoints can boost the performance of existing human segmentation model during inference without any training. Next, we propose a framework to directly learn a deep instance segmentation model conditioned on human pose. Experimental results show that at various Intersection Over Union (IOU) thresholds, in a constrained environment with oracle keypoints, the instance segmentation accuracy achieves 10% to 12% relative improvements over a strong baseline of oracle bounding boxes. In a more realistic environment, without the oracle keypoints, the proposed deep person instance segmentation model conditioned on human pose achieves 3.8% to 10.5% relative improvements comparing with its strongest baseline of a deep network trained only for segmentation.

研究の動機と目的

• 人間のポーズ事前知識が、最先端のセマンティックセグメンテーションモデルを上回るインスタンスレベルの人物セグメンテーションを改善するかどうかを調査すること。
• 推論時にオラクル人間キーポイントアノテーションを事前知識として使用した場合の性能向上を定量化すること。
• 共有特徴を用いてキーポイント推定とインスタンスセグメンテーションを同時に学習するエンドツーエンドの深層モデルを開発すること。
• オラクルキーポイントが存在しない現実的状況において、ポーズ条件付きセグメンテーションの有効性を評価すること。
• ポーズ情報が深層セグメンテーションアーキテクチャに効果的に統合可能であることを示し、インスタンスレベルの局所化およびセグメンテーション精度を向上させること。

提案手法

• キーポイントヒートマップの予測とセグメンテーションの両方のための共有畳み込みバックボーン（最終層の1つ前まで）を用い、特徴の共有を実現する。
• キーポイントヒートマップを距離変換により処理し、人体の幾何的構造を符号化する空間的事前知識を生成する。
• 距離変換済みキーポイントヒートマップを最終的なセグメンテーションヘッドの追加入力チャネルとして連結し、インスタンスレベルの予測に使用する。
• モデルは段階的に訓練される：まずバウンディングボックスとキーポイントヒートマップを予測し、次にポーズ事前知識を用いてセグメンテーションを精緻化する。
• 共有特徴抽出器を用いたマルチタスク学習戦略により、キーポイント推定とセグメンテーションを同時に最適化する。
• フレームワークは、COCOインスタンスセグメンテーションとCOCO人物キーポイントデータセットの共通部分を対象とし、複数のIoU閾値における標準的なAPメトリクスを用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 距離変換済みキーポイントヒートマップとして表現される人間のポーズ事前知識は、モデルの再訓練なしにインスタンスセグメンテーション性能を向上させることができるか？
• RQ2 現実的状況（オラクルキーポイントなし）において、ポーズ条件付きセグメンテーションモデルはセグメンテーション専用ベースラインに比べてどの程度の性能向上を達成するか？
• RQ3 予測されたキーポイントヒートマップとオラクルキーポイントアノテーションの両方を用いた場合、インスタンスセグメンテーション精度にどの程度の相対的向上が見られるか？
• RQ4 段階的Pose2Instanceアーキテクチャは、マルチタスク統合学習アプローチに比べてセグメンテーション精度で優れているか？
• RQ5 特に混雑または遮蔽されたシーンにおいて、キーポイント推定の失敗にどの程度耐性を示すか？

主な発見

• オラクルキーポイントアノテーションを前提とした制限付き設定では、Pose2Instanceモデルは、オラクルバウンディングボックスのみを用いた強力なベースラインに比べて、インスタンスセグメンテーション精度を10%〜12%相対的に向上させる。
• オラクルキーポイントが存在しない現実的状況では、段階的Pose2Instanceモデルは、セグメンテーション専用ベースラインモデルに比べてAPで3.8%〜10.5%の相対的向上を達成する。
• 段階的Pose2Instanceモデルは、マルチタスク統合学習モデルを上回り、IoU=0.5では3%のAP絶対向上、IoU=[0.5,0.95]では4%の向上を示す。
• 定性的な結果から、モデルは混雑したシーンにおいても個々の人物インスタンスを正しくセグメンテーションしているが、ポーズ推定器の失敗時には性能が低下することが確認された。
• VGGベースのポーズ推定器を用いても本手法が有効であるため、キーポイント予測のやや誤差に対してもフレームワークが頑健であることが示唆される。
• ポーズ事前知識の統合は、特に部分的遮蔽や高密度インスタンスの状況において顕著にセグメンテーション精度を向上させ、外観の類似性により分離が困難な場合に有効である。