[論文レビュー] Cross-domain Human Parsing via Adversarial Feature and Label Adaptation

Si Liu, Yao Sun+5 more|arXiv (Cornell University)|Jan 4, 2018

Multimodal Machine Learning Applications参考文献 35被引用数 13

ひとこと要約

本稿では、ラベルの手動アノテーションなしに、事前学習済みパーサーをソースドメイン（例：LIPデータセット）からターゲットドメインに適応させる、クロスドメイン人体パーセプションフレームワークを提案する。敵対的特徴および構造的ラベル適応を用い、特徴のドメインシフトを同時に最小化するとともに、高次元のラベル関係を保持する。この手法により、ベースライン手法と比較して最大2%高いF-1スコアを達成し、最先端の性能を実現する。

ABSTRACT

Human parsing has been extensively studied recently due to its wide applications in many important scenarios. Mainstream fashion parsing models focus on parsing the high-resolution and clean images. However, directly applying the parsers trained on benchmarks to a particular application scenario in the wild, e.g., a canteen, airport or workplace, often gives non-satisfactory performance due to domain shift. In this paper, we explore a new and challenging cross-domain human parsing problem: taking the benchmark dataset with extensive pixel-wise labeling as the source domain, how to obtain a satisfactory parser on a new target domain without requiring any additional manual labeling? To this end, we propose a novel and efficient cross-domain human parsing model to bridge the cross-domain differences in terms of visual appearance and environment conditions and fully exploit commonalities across domains. Our proposed model explicitly learns a feature compensation network, which is specialized for mitigating the cross-domain differences. A discriminative feature adversarial network is introduced to supervise the feature compensation to effectively reduce the discrepancy between feature distributions of two domains. Besides, our model also introduces a structured label adversarial network to guide the parsing results of the target domain to follow the high-order relationships of the structured labels shared across domains. The proposed framework is end-to-end trainable, practical and scalable in real applications. Extensive experiments are conducted where LIP dataset is the source domain and 4 different datasets including surveillance videos, movies and runway shows are evaluated as target domains. The results consistently confirm data efficiency and performance advantages of the proposed method for the cross-domain human parsing problem.

研究の動機と目的

• 高品質なベンチマークで訓練されたモデルを、カフェや空港などの実世界のシナリオに適用する際のドメインシフトの課題に対処すること。
• 豊富なアノテーションを持つソースドメインから、アノテーションのないターゲットドメインへの効果的適応を可能にする手法を開発すること。
• ドメイン間の視覚的・環境的差異を最小限に抑えつつ、ドメイン間で一貫した構造的ラベル関係を維持すること。
• 実世界への展開に適したエンドツーエンドでスケーラブルかつ実用的なソリューションを構築すること。

提案手法

• 共有の潜在空間内でソースドメインおよびターゲットドメインの特徴を統一するための学習可能な特徴補正ネットワークを導入する。
• ドメイン差を低減するために、識別器を訓練してソース特徴とターゲット特徴の表現を区別する敵対的特徴識別ネットワークを採用する。
• ドメイン間で共有される高次元のラベル関係（例：頭は体の上）を満たすように、ターゲットの予測をガイドする構造的ラベル敵対的ネットワークを組み込む。
• 敵対的目的関数を用いて特徴補正モジュールとラベル適応モジュールを同時に最適化し、エンドツーエンドの最適化を可能にする。
• pool5層からの特徴を用いたマルチスケールの監督戦略を採用し、特徴表現の質を向上させる。
• トレーニングの安定化と一般化性能の向上を図るため、ラベル整合性損失に定数K_C = 5を用いる。

実験結果

リサーチクエスチョン

• RQ1 手動アノテーションなしで、敵対的特徴適応がクロスドメイン人体パーセプションにおけるドメインシフトを効果的に低減できるか？
• RQ2 構造的ラベル敵対的学習により、体部階層などの高次元の意味的関係（例：頭は体の上）がドメイン間で保持されるか？
• RQ3 特徴とラベルの両方を同時に適応する手法は、単一モalityの適応やドメイン不変ベースラインと比較してどのように優れているか？
• RQ4 モデルは、低解像度、低照度、または極めて変動の激しい実世界シナリオにもどの程度一般化できるか？

主な発見

• 特徴適応とラベル適応を組み合わせた本手法は、PridAデータセットで平均F-1スコア92.83を達成し、'Source Only'ベースラインより1.05%、DANNより0.82%高い性能を示した。
• Daily VideoデータセットではF-1スコア87.51を達成し、'Target Only'の上限を上回った。これは、限られた訓練データでも効果的な知識移行が可能であることを示している。
• PridBデータセットでは、'U-body'カテゴリで78.27%のF-1スコアを達成し、'Source Only'（74.56%）および'DANN'（74.79%）を3.5ポイント以上上回った。
• 'Feat. + Lab. Adapt'バージョンは、'Feat. Adapt'や'Lab. Adapt'単体よりも一貫して優れた性能を示し、両者の最適化が相乗的に効果を発揮することを示した。
• 定性的な結果では、特に屋内カフェや監視映像のような低照度・高運動状態において、左/右肢や髪の毛の予測精度が向上している。
• 部分的遮蔽、運動ブラー、低解像度入力といった困難なケースに対しても、ベースラインモデルが失敗する状況でも本モデルは効果的に対処できている。