[論文レビュー] Improving Multi-Person Pose Estimation using Label Correction

Naoki Kato, Tianqi Li+2 more|arXiv (Cornell University)|Nov 8, 2018

Human Pose and Action Recognition参考文献 25被引用数 11

ひとこと要約

この論文は、人物のキーポイントが画像境界を越えていたり、隠蔽されていたりする場合の不完全または欠落したアノテーションを補正するラベル補正手法を提案している。教師モデルが真のラベルとソフト予測を要素ごとの最大値で結合することで、キーポイントの欠落や不正なラベルを補完する。COCOデータセットにおける実験では、補正済みラベルで学習することでAPが2.3ポイント向上（最大56.9に達し）、収束が早くなり、知識蒸留法を上回る性能を発揮した。

ABSTRACT

Significant attention is being paid to multi-person pose estimation methods recently, as there has been rapid progress in the field owing to convolutional neural networks. Especially, recent method which exploits part confidence maps and Part Affinity Fields (PAFs) has achieved accurate real-time prediction of multi-person keypoints. However, human annotated labels are sometimes inappropriate for learning models. For example, if there is a limb that extends outside an image, a keypoint for the limb may not have annotations because it exists outside of the image, and thus the labels for the limb can not be generated. If a model is trained with data including such missing labels, the output of the model for the location, even though it is correct, is penalized as a false positive, which is likely to cause negative effects on the performance of the model. In this paper, we point out the existence of some patterns of inappropriate labels, and propose a novel method for correcting such labels with a teacher model trained on such incomplete data. Experiments on the COCO dataset show that training with the corrected labels improves the performance of the model and also speeds up training.

研究の動機と目的

• キーポイントが画像境界を越えていたり、隠蔽されていたりする場合に生じる、マルチペルソンポーズ推定データセットにおける不完全または誤ったラベルのパターンを特定・解消すること。
• 教師モデルを活用して、欠落または無効なラベルのための妥当で補完的な予測を生成する、新しいラベル補正フレームワークを提案すること。
• ノイズが多いまたは不完全な教師信号を、補正済みのより頑健なラベルに置き換えることで、モデル性能と学習効率を向上させること。

提案手法

• まず、元の不完全なデータセット上で教師モデルを学習させ、人間のキーポイント配置や肢間関係の汎用的表現を学習する。
• 各訓練サンプルについて、真のラベルから信頼度マップとパーツアフィニティフィールド（PAFs）を計算するが、キーポイントの突出や隠蔽により、これらのラベルが欠落していることがある。
• 提案手法は、元の（不完全な可能性のある）ラベルと教師モデルのソフト出力との間で要素ごとの最大値演算を実行し、欠落または不正な領域を効果的に埋め込む。
• 補正済みラベルを用いて学生モデルを学習させ、補正プロセスが知識蒸留に類似した正則化を暗黙的に組み込む。
• 信頼度マップとPAFsの両方にこのアプローチを同時に適用し、キーポイントと肢の表現学習の整合性を保証する。
• アブレーションスタディと知識蒸留法との比較を通じて、性能と収束速度の両面で優位性を示した。

実験結果

リサーチクエスチョン

• RQ1 キーポイントアノテーションとPAFベースの監視を用いる場合、マルチペルソンポーズ推定データセットで一般的に生じるラベルエラーの種類は何か？
• RQ2 学習済みモデルは、ポーズ推定における欠落または無効なラベルのための妥当で補完的な予測を効果的に生成できるか？
• RQ3 教師モデルのソフト出力を使ってラベルを補正することで、標準的な知識蒸留法よりも優れたモデル性能が得られるか？
• RQ4 ラベル補正は、学習の収束速度と最終的なモデル精度にどのように影響を与えるか？
• RQ5 ラベル補正による性能向上は、信頼度マップとPAFsの両方を同時に補正することに依存しているか？

主な発見

• 補正済みラベルで学習した結果、COCOにおける平均平均精度（AP）はベースラインの54.6から56.9に向上し、2.3ポイントの向上を達成した。
• 知識蒸留法を上回り、両手法を併用した場合でも、より高い性能を発揮した。
• ラベル補正により学習収束が加速した。損失の低下が速く、知識蒸留法と同様の効果が観察された。
• 信頼度マップとPAFsの両方を同時に補正した場合が最良の性能を示し、APは56.9に達した。一方、片方だけを補正した場合は55.5に留まった。
• アブレーションスタディにより、信頼度マップとPAFsの補正が独立して寄与するとともに、相乗効果をもたらすことが確認された。
• 失敗事例の主な原因は、教師モデルが非人体対象を誤って予測した場合、またはラベルと予測出力の間でアライメントがずれた場合であった。