[論文レビュー] Matching-CNN Meets KNN: Quasi-Parametric Human Parsing

Si Liu, Xiaodan Liang+7 more|arXiv (Cornell University)|Apr 6, 2015

Advanced Neural Network Applications参考文献 28被引用数 24

ひとこと要約

本論文は、手動でアノテートされたコーパスからのK近傍（KNN）画像とテスト画像間の一致信頼度および位置ずれを予測するマッチングCNN（M-CNN）を用いて、パrametric学習と非パラメトリック推論を組み合わせた準パラメトリックな人体パーサー枠組みを提案する。この手法は、エンドツーエンド学習とスーパープixelsに基づくラベル統合により、7,700枚の画像から成るデータセットで63.58%のF1スコアを達成し、最先端の性能を発揮した。

ABSTRACT

Both parametric and non-parametric approaches have demonstrated encouraging performances in the human parsing task, namely segmenting a human image into several semantic regions (e.g., hat, bag, left arm, face). In this work, we aim to develop a new solution with the advantages of both methodologies, namely supervision from annotated data and the flexibility to use newly annotated (possibly uncommon) images, and present a quasi-parametric human parsing model. Under the classic K Nearest Neighbor (KNN)-based nonparametric framework, the parametric Matching Convolutional Neural Network (M-CNN) is proposed to predict the matching confidence and displacements of the best matched region in the testing image for a particular semantic region in one KNN image. Given a testing image, we first retrieve its KNN images from the annotated/manually-parsed human image corpus. Then each semantic region in each KNN image is matched with confidence to the testing image using M-CNN, and the matched regions from all KNN images are further fused, followed by a superpixel smoothing procedure to obtain the ultimate human parsing result. The M-CNN differs from the classic CNN in that the tailored cross image matching filters are introduced to characterize the matching between the testing image and the semantic region of a KNN image. The cross image matching filters are defined at different convolutional layers, each aiming to capture a particular range of displacements. Comprehensive evaluations over a large dataset with 7,700 annotated human images well demonstrate the significant performance gain from the quasi-parametric model over the state-of-the-arts, for the human parsing task.

研究の動機と目的

• 新しいラベルの追加に再トレーニングが必要な純パラメトリックモデルの限界と、弱い一致信号をもつ非パラメトリック手法の不柔軟性を解消すること。
• アノテート済みデータからの監視を活用するとともに、新しいセマンティックラベルや画像への容易な拡張を可能にする統合フレームワークの開発。
• クロス画像畳み込みフィルタを用いて複数のスケールと位置ずれ範囲をモデル化することで、テスト画像とKNN領域間の一致信頼性を向上させること。
• ポーズ推定や過剰分割に依存しないように、直接ラベル転送を行うエンドツーエンドのディープラーニングアプローチを採用すること。

提案手法

• フレームワークは、画像レベルの特徴量に基づいて、手動でパーサーされた人体画像コーパスからKNN画像を検索する。
• 各KNN画像に対して、テスト画像と各セマンティック領域をペアにし、そのペアをマッチングCNN（M-CNN）に供給して一致信頼度と4次元の空間的ずれを予測する。
• M-CNNは、階層的特徴学習のための2つの単一画像畳み込みパスと、複数の畳み込み層で画像間一致をモデル化するためのクロス画像畳み込みパスを有する。
• クロス画像一致フィルタは、Conv2、Conv3、Conv4、Conv5層に挿入され、異なる空間スケールとずれ範囲での一致を捉える。
• 予測された信頼度とずれに基づき、すべてのKNN領域からのラベルマップをテスト画像に転送し、各セマンティックラベルごとに確率マップに統合する。
• スーパープixelsに基づくスムージング手順により、最終的なパーサー結果が改善され、境界の維持と断片化の低減が達成される。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドな準パラメトリックフレームワークは、パラメトリック手法と非パラメトリック手法の長所を効果的に統合できるか？
• RQ2 ディープラーニングベースのマッチングネットワーク（M-CNN）は、従来の特徴ベースマッチングを上回る正確性と頑健性を示せるか？
• RQ3 複数の畳み込み層にクロス画像一致フィルタを挿入することで、単一層または非クロス層設計と比較してマッチング性能が向上するか？
• RQ4 ポーズの変化や小さな、まれなセマンティック領域において、本手法はどのように性能を発揮するか？
• RQ5 モデル全体の再トレーニングなしに、新しいセマンティックラベルに容易に拡張できるか？

主な発見

• 提案されたM-CNNは、9つのKNN画像を用いる際、63.58%の最高F1スコアを達成し、最先端の手法を顕著に上回った。
• モデルはポーズの変化に対して頑健であり、ポーズ推定が不正確または欠落している場合でも、左腕・右腕を正確にセグメンテーションできた。
• 本手法は、バッグ、スカーフ、サングラスなど、ベースライン手法（PaperDoll）がしばしば見逃すような小さなセマンティック領域を効果的に検出・セグメンテーションできた。
• アブレーションスタディの結果、クロス画像一致フィルタを削除するとF1スコアは62.81%から61.53%に低下し、これらがセマンティックレベルの一致を捉える上で重要であることが確認された。
• スーパープixelsスムージングは境界品質を向上させたが、それなしでもM-CNN単体で既存の最先端手法を上回る性能を示しており、強力な内在的なラベル予測能力を有することが示された。
• 最初の畳み込み層にクロス画像フィルタを挿入すると、受容野が小さくなるため性能が劣化するが、より深い層に挿入することで、より大きな受容野がセマンティックラベル全体をカバーでき、より良い結果が得られた。