[論文レビュー] Nondiscriminatory Treatment: a straightforward framework for multi-human parsing

Min Yan, Guoshan Zhang+2 more|arXiv (Cornell University)|Jan 26, 2021

Natural Language Processing Techniques参考文献 56被引用数 4

ひとこと要約

本稿では、人間と身体部位を区別しないカテゴリ付きインスタンスとして扱う、Nondiscriminatory Treatment for Human Parsing (NTHP) を提案する。これは、人間と身体部位を区別しない、エンドツーエンドでボックスフリーなフレームワークであり、共有プロトタイプに基づく統一されたマスク予測モジュールを用いて二値マスクを生成し、その後に身体部位インスタンスとその対応する人間インスタンスを結びつけるための新しいグループ化後処理ステップを実施する。NTHP は MHP v2.0 および PASCAL-Person-Part で最先端性能を達成し、MHP v2.0 で 51.1 AP p50 および 49.9 PCP50 の新記録を樹立した。

ABSTRACT

Multi-human parsing aims to segment every body part of every human instance. Nearly all state-of-the-art methods follow the "detection first" or "segmentation first" pipelines. Different from them, we present an end-to-end and box-free pipeline from a new and more human-intuitive perspective. In training time, we directly do instance segmentation on humans and parts. More specifically, we introduce a notion of "indiscriminate objects with categorie" which treats humans and parts without distinction and regards them both as instances with categories. In the mask prediction, each binary mask is obtained by a combination of prototypes shared among all human and part categories. In inference time, we design a brand-new grouping post-processing method that relates each part instance with one single human instance and groups them together to obtain the final human-level parsing result. We name our method as Nondiscriminatory Treatment between Humans and Parts for Human Parsing (NTHP). Experiments show that our network performs superiorly against state-of-the-art methods by a large margin on the MHP v2.0 and PASCAL-Person-Part datasets.

研究の動機と目的

• マルチヒューマンパーサーにおける従来の2段階型「検出を先に実行する」および「セグメンテーションを先に実行する」パイプラインの制限を解決すること。
• 人間と身体部位をカテゴリ付きインスタンスとして扱う、より直感的で人間らしいアプローチを構築すること。
• バウンディングボックスや ROI アライメントへの依存を排除し、特徴の歪みと計算オーバーヘッドを低減すること。
• 人間と身体部位のインスタンスセグメンテーション間で相互に特徴とプロトタイプを共有することで、パーサーの精度を向上させること。
• より単純で統一されたフレームワークで、ベンチマークデータセットで最先端の性能を達成すること。

提案手法

• 人間と身体部位を、ピクセルのセマンティックラベルではなく、カテゴリ付きインスタンスとして扱う、『カテゴリ付きの区別しないオブジェクト』という新しい概念を提案する。
• すべてのヒューマンおよびパーツカテゴリにわたる共有プロトタイプの線形結合によって二値マスクを生成する、プロトタイプに基づく統一マスク予測（UMPP）モジュールを導入する。
• マルチレベル特徴を抽出するための特徴ピラミッドネットワーク（FPN）を用い、異なるレベルをヒューマンおよびパーツインスタンス予測に別々に使用する。
• すべてのカテゴリ予測に使用される学習可能なプロトタイプを生成する、共有プロトタイプヘッドを採用する。
• 空間的および特徴的類似性に基づいて、各パーツインスタンスをその対応するヒューマンインスタンスにリンクする、新しいグループ化後処理戦略を設計する。
• ボックスフリーな方法でエンドツーエンドにモデルを学習し、ROIクロッピングやアライメントを回避する。

実験結果

リサーチクエスチョン

• RQ1 人間と身体部位を統一的かつカテゴリ付きインスタンスとして扱うことで、マルチヒューマンパーサーの性能が向上するか？
• RQ2 共有プロトタイプに基づくマスク予測メカニズムは、ヒューマンおよびパーツインスタンスセグメンテーションの両方を効果的に処理できるか？
• RQ3 ボックスフリーでエンドツーエンドのフレームワークは、バウンディングボックスや ROI アライメントに依存する2段階パイプラインを上回る性能を発揮するか？
• RQ4 シンプルで統一されたグループ化戦略は、パーツレベルの予測からヒューマンレベルのパーサーを効果的に再構築できるか？
• RQ5 提案されたフレームワークは、MHP v2.0 や PASCAL-Person-Part といった多様なベンチマークで十分に一般化できるか？

主な発見

• MHP v2.0 の検証セットにおいて、NTHP は 51.1 AP p50、49.5 AP pvol、49.9 PCP50 を達成し、最も優れた従来手法をそれぞれ 5.8、2.7、6.1 ポイント上回った。
• PASCAL-Person-Part データセットでは、IoU スコアが 0.5、0.6、0.7 の各閾値で 47.1 AP rvol、53.9、44.7、31.9 AP r を達成し、前回の SOTA をそれぞれ 4.0、5.8、6.4、6.2 ポイント上回った。
• MHP v2.0 ではたった 12 エポックの学習、PASCAL-Person-Part では 54 エポックの学習で SOTA の結果を達成しており、テスト時増強やデータフリップを一切使用していない。
• アブレーションスタディの結果、可変畳み込みと長時間のトレーニングスケジュールが性能向上に寄与することが確認され、MHP v2.0 では 36 エポックが最良の結果をもたらした。
• 可視化結果から、NTHP は遮蔽や複雑な相互作用に対しても効果的に対処できており、混雑したシーンでも正しくパーツをその対応する人間にグループ化していることが示された。
• 本手法はデータセット間で良好に一般化し、PASCAL-Person-Part において外部データセットでの事前学習なしに、強力なロバストネスと優れた性能を示した。