[論文レビュー] Weakly Supervised Body Part Parsing with Pose based Part Priors.

Zhengyuan Yang, Yuncheng Li+3 more|arXiv (Cornell University)|Jul 30, 2019

Human Pose and Action Recognition被引用数 5

ひとこと要約

この論文は、ポーズに基づくパーツ事前知識と反復的精錬を活用することで、最小限のアノテーションで最先端の性能を達成する弱教師付きボディパーツパーシングフレームワークを提案する。Pascal-Person-Partでは62.0%のmIoUを達成し、完全教師あり手法（63.6% mIoU）と同等の性能を発揮し、追加の弱教師信号が利用可能な場合、既存の半教師あり手法を上回る性能を示す。

ABSTRACT

Human body part parsing refers to the task of predicting the semantic segmentation mask for each body part. Fully supervised body part parsing methods achieve good performances, but require an enormous amount of effort to annotate part masks for training. In contrast to high annotation costs required for a limited number of part mask annotations, a large number of weak labels such as poses and full body masks already exist and contain relevant information. Motivated by the possibility of using existing weak labels, we propose the first weakly supervised body part parsing framework. The basic idea is to train a parsing network with pose generated part priors that has blank uncertain regions on estimated boundaries, and use an iterative refinement module to generate new supervision and predictions on these regions. When sufficient extra weak supervisions are available, our weakly-supervised results (62.0% mIoU) on Pascal-Person-Part are comparable to the fully supervised state-of-the-art results (63.6% mIoU). Furthermore, in the extended semi-supervised setting, the proposed framework outperforms the state-of-art methods. In addition, we show that the proposed framework can be extended to other keypoint-supervised part parsing tasks such as face parsing.

研究の動機と目的

• 完全教師ありボディパーツパーシングにおける高いアノテーションコストを低減するため、ポーズや全身マスクなどの既存の弱教師ラベルを活用すること。
• 境界領域に曖昧な領域を含むポーズから生成されたパーツ事前知識を初期の監督信号として用いる弱教師付きフレームワークの開発。
• 予測の不確実性領域を特定し、それらの領域に対して新しい擬似監督信号を生成することで、完全マスクアノテーションなしにパーサーの精度を反復的に向上させること。
• 顔パーシングなどの他のキーポoin監督パーシングタスクにこのフレームワークを拡張し、汎用性を示すこと。

提案手法

• フレームワークは、ボディパーツ境界で空白または曇った領域を含むポーズに基づくパーツ事前知識を用いてパーサーネットワークを初期化する。
• 反復的精錬モジュールは、予測マスク内の不確実領域を特定し、それらの領域に対して新しい擬似監督信号を生成する。
• 予測と擬似ラベル生成のプロセスを交互に繰り返すことで、段階的にマスク品質を向上させる。
• 密なマスクアノテーションがなくても、人体ポーズの空間的構造を活用してパーツの局所化をガイドする。
• 初期事前知識と精錬された擬似ラベルに基づき、クロスエントロピー損失を用いてエンドツーエンドで訓練する。
• 新しい解剖学的キーポイント構成に適応することで、ポーズに基づく事前知識生成を変更し、他のキーポイント監督パーシングタスクに拡張する。

実験結果

リサーチクエスチョン

• RQ1 境界が曇ったポーズに基づくパーツ事前知識は、ボディパーツパーシングの有効な弱教師信号として機能するか？
• RQ2 不確実領域の反復的精錬は、完全マスクアノテーションなしにパーサー性能を顕著に向上させるか？
• RQ3 Pascal-Person-Partにおいて、弱教師付きフレームワークの性能は完全教師あり最先端手法と比べてどうか？
• RQ4 顔パーシングなどの他のキーポイント監督パーシングタスクに、このフレームワークは一般化可能か？
• RQ5 追加の弱教師信号が利用可能な半教師あり設定では、このフレームワークがより優れた性能を発揮するか？

主な発見

• 提案された弱教師付き手法は、Pascal-Person-Partで62.0%のmIoUを達成し、完全教師あり最先端手法の63.6% mIoUに非常に近い性能を発揮した。
• 半教師あり設定では、追加の弱教師信号を活用することで、既存の最先端手法を上回る性能を示した。
• 反復的精錬モジュールは境界領域の不確実性を効果的に低減し、繰り返しのトレーニングステップを経るごとにマスク品質が向上した。
• 顔パーシングなどの他のキーポイント監督パーシングタスクに対しても、このフレームワークは良好に一般化され、その適応性を示した。
• ポーズに基づく事前知識の使用により、高価なマスクアノテーションの必要性が顕著に削減された一方で、高い性能を維持した。