[論文レビュー] Self-Correction for Human Parsing

Peike Li, Yunqiu Xu+2 more|arXiv (Cornell University)|Oct 22, 2019

Multimodal Machine Learning Applications被引用数 48

ひとこと要約

この論文はSelf-Correction for Human Parsing (SCHP)、Augmented-CE2Pに基づくオンラインモデル集約とラベル refinement フレームワークを導入し、人間解析のノイズのあるピクセルレベルラベルを扱い、LIPとPascal-Person-Partデータセットで最先端の結果を達成します。

ABSTRACT

Labeling pixel-level masks for fine-grained semantic segmentation tasks, e.g. human parsing, remains a challenging task. The ambiguous boundary between different semantic parts and those categories with similar appearance usually are confusing, leading to unexpected noises in ground truth masks. To tackle the problem of learning with label noises, this work introduces a purification strategy, called Self-Correction for Human Parsing (SCHP), to progressively promote the reliability of the supervised labels as well as the learned models. In particular, starting from a model trained with inaccurate annotations as initialization, we design a cyclically learning scheduler to infer more reliable pseudo-masks by iteratively aggregating the current learned model with the former optimal one in an online manner. Besides, those correspondingly corrected labels can in turn to further boost the model performance. In this way, the models and the labels will reciprocally become more robust and accurate during the self-correction learning cycles. Benefiting from the superiority of SCHP, we achieve the best performance on two popular single-person human parsing benchmarks, including LIP and Pascal-Person-Part datasets. Our overall system ranks 1st in CVPR2019 LIP Challenge. Code is available at https://github.com/PeikeLi/Self-Correction-Human-Parsing.

研究の動機と目的

• ノイズのあるピクセルレベルの注釈を微細な人間解析で addressする動機付け。
• ラベルを同時に refinement しモデルを改善する自己修正メカニズムを提案。
• 境界情報をより活用する拡張アーキテクチャ（A-CE2P）を開発。
• LIPとPascal-Person-Partでロバストなアブレーションを用いて最先端の性能を示す。

提案手法

• Augmented-CE2P (A-CE2P) フレームワークは、L_consistent 項を介して parsing と edge の一貫性を明示的に強制します。
• 複合損失: L_parsing = L_cls + L_mIoU (IoU 最適化の surrogate)。
• Consistency constraint L_consistent は 予測エッジと parsing 出力を揃える。
• Self-Correction for Human Parsing (SCHP): online model aggregation across training cycles and online pseudo-label refinement.
• Cosine-annealed cyclical learning rate with warm restarts to drive iterative improvement.
• Algorithm 1 implementation of online model aggregation (weight averaging) and label refinement (pseudo-label averaging).

実験結果

リサーチクエスチョン

• RQ1 SCHP はラベルノイズを同時にラベルとモデルを refinement することで細粒度の人間解析に対して軽減できるか。
• RQ2 A-CE2P アーキテクチャと SCHP の組み合わせは標準ベンチマークで最先端の mIoU を達成できるか。
• RQ3 モデル集約とラベル refinement の寄与は全体の性能にどの程度影響するか。
• RQ4 エッジ一貫性と IoU 重視の損失は解析性能と境界精度にどのような影響を与えるか。

主な発見

Method	mIoU
A-CE2P w/o SCHP	56.88
A-CE2P w/ SCHP	58.62
A-CE2P w/ SCHP †	59.36
A-CE2P w/o SCHP (Pascal)	70.63
A-CE2P w/ SCHP (Pascal)	71.46
A-CE2P w/ SCHP † (Pascal)	71.46

• SCHP は LIP で新しい state-of-the-art を mIoU 59.36（Table 1, last row with SCHP）で達成。
• LIP では、CE2P ベースラインに対して SCHP による 6.26 ポイントの mIoU 増加を達成（本文の記述）。
• Pascal-Person-Part では、test-time augmentation により mIoU を 71.46 へ改善。
• アブレーションにより、モデル集約（MA）とラベル refinement（LR）の両方が寄与を持ち、組み合わせが最良の結果を与える。
• A-CE2P フレームワークは、Backbone や context モジュール（PSP/ASPP/OCNet）を跨って SCHP の恩恵を一貫して受ける。
• 定性的な可視化では、循環を経るにつれて修正された擬似ラベルが滑らかになり、境界とより良く一致する。