[論文レビュー] Learning Compositional Neural Information Fusion for Human Parsing

Wenguan Wang, Zhijie Zhang+4 more|arXiv (Cornell University)|Jan 19, 2020

Domain Adaptation and Few-Shot Learning参考文献 57被引用数 7

ひとこと要約

本稿では、人体の階層的構造を統合することで、直接的・上位から下位への・下位から上位への推論プロセスを統合するコンpositionalニューラル情報統合フレームワークを提案する。信頼度に条件づけた学習可能なゲート機構により、情報統合を制御することで、23fpsの推論速度を達成し、4つのベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

This work proposes to combine neural networks with the compositional hierarchy of human bodies for efficient and complete human parsing. We formulate the approach as a neural information fusion framework. Our model assembles the information from three inference processes over the hierarchy: direct inference (directly predicting each part of a human body using image information), bottom-up inference (assembling knowledge from constituent parts), and top-down inference (leveraging context from parent nodes). The bottom-up and top-down inferences explicitly model the compositional and decompositional relations in human bodies, respectively. In addition, the fusion of multi-source information is conditioned on the inputs, i.e., by estimating and considering the confidence of the sources. The whole model is end-to-end differentiable, explicitly modeling information flows and structures. Our approach is extensively evaluated on four popular datasets, outperforming the state-of-the-arts in all cases, with a fast processing speed of 23fps. Our code and results have been released to help ease future research in this direction.

研究の動機と目的

• 人体に内在する豊富なコンポジショナル構造を活用できない既存の人体パーツ分割手法の限界を解消すること。
• 原子的パーツにとどまらず、頭部・四肢・全身などのマルチレベルの意味的パーツをモデル化することで、分割精度を向上させること。
• 直接的・上位から下位・下位から上位の3つの推論ソースからの情報を統合する、エンドツーエンド微分可能なフレームワークを構築すること。
• 信頼度に応じた統合を組み込むことで、信頼性の低い情報源を抑制し、耐障害性と精度を向上させること。
• ニューラルネットワーク内での階層的構造モデリングを通じて、人間の意味的理解を包括的に実現すること。

提案手法

• 人体パーツのコンポジショナル階層上で、複数ソースのニューラル情報統合問題として人体パーツ分割を定式化する。
• 直接的（画像ベース）、上位から下位（全身から部分へ）、下位から上位（部分から全身へ）の3つの推論プロセスを統合する。
• ソースの信頼度に応じて動的に重みを割り当てる学習可能なゲートを用いた条件付き統合メカニズムを実装する。
• 階層の各レベル間の情報フローと構造的制約を明示的にモデル化するエンドツーエンド微分可能なアーキテクチャを設計する。
• 1st・2nd・3rdレベルのノードで、セマンティックパーツラベルに対するマルチレベルの監督を用いて交差エントロピー損失で学習する。
• 空間的・構造的詳細を保持するため、スキップ接続および階層的スキップ接続を備えた完全畳み込みネットワークをバックボーンとして利用する。

実験結果

リサーチクエスチョン

• RQ1 人体のコンポジショナル階層をモデル化することで、標準的なセマンティックセグメンテーション手法と比較して、分割精度が向上するか？
• RQ2 直接的・上位から下位・下位から上位の推論プロセスからの情報統合が、分割性能にどのように影響するか？
• RQ3 固定重み統合と比較して、信頼度に応じた統合は、耐障害性と精度をどの程度向上させるか？
• RQ4 1st・2nd・3rdレベルのパーツにわたるマルチレベルの監督を組み込むことで、より良い特徴学習と一般化性能が得られるか？
• RQ5 提案フレームワークは、多様なデータセットで23fps程度の高い推論速度を維持しながら、最先端の性能を達成できるか？

主な発見

• 提案モデルは、LIP、PASCAL-Person-Part、ATR、Fashion Clothingの4つの公開データセットで、最先端の性能を達成した。
• PASCAL-Person-Partのテストセットでは、1stレベルで70.76 mIoU、2ndレベルで81.62、3rdレベルで91.31を達成し、すべてのアブレーションバリアントを上回った。
• アブレーションスタディにより、下位から上位および上位から下位の推論を追加することで顕著な性能向上が確認された。直接的推論のみのベースラインでは64.14 mIoUであったが、フルモデルでは1stレベルで70.76 mIoUに到達した。
• 条件付き統合により、低信頼度ソースを抑制することで性能が著しく向上した。1stレベルで、直接＋下位から上位＋上位から下位の統合（69.43）からフルモデル（70.76）に至るまで、0.59 mIoUの向上が確認された。
• 定性的な結果では、細分化された部分（例：下腿部、小ぶりな腕）のセグメンテーションが優れており、境界が明瞭で、SS-NAN や DeepLabV2 といった最先端手法と比較して誤りが少ない。
• モデルは23fpsで画像を処理でき、リアルタイム応用に適した高い効率性を示した。