[論文レビュー] Parsing Occluded People by Flexible Compositions

Xianjie Chen, Alan Yuille|arXiv (Cornell University)|Dec 4, 2014

Human Pose and Action Recognition参考文献 34被引用数 4

ひとこと要約

本稿では、可視部位を接続された部分木（「フレキシブルコンポジション」と呼ばれる）としてモデル化することで、重度の隠蔽下でも人体のパースを向上させる柔軟な構成的グラフィカルモデルを提案する。このモデルは局所的画像特徴と欠損証拠の両方から隠蔽の兆候を学習する。本手法により部品の共有を活用した効率的推論が可能となり、We Are Familyデータセットにおいて、最先端手法よりも平均PCPが11.3%高く、AOPが4.9%高い結果を得た。

ABSTRACT

This paper presents an approach to parsing humans when there is significant occlusion. We model humans using a graphical model which has a tree structure building on recent work [32, 6] and exploit the connectivity prior that, even in presence of occlusion, the visible nodes form a connected subtree of the graphical model. We call each connected subtree a flexible composition of object parts. This involves a novel method for learning occlusion cues. During inference we need to search over a mixture of different flexible models. By exploiting part sharing, we show that this inference can be done extremely efficiently requiring only twice as many computations as searching for the entire object (i.e., not modeling occlusion). We evaluate our model on the standard benchmarked "We Are Family" Stickmen dataset and obtain significant performance improvements over the best alternative algorithms.

研究の動機と目的

• 実世界のシーンにおいて体の部位が著しく隠蔽されている状況でも、正確な人体パースを達成する課題に対処すること。
• 隠蔽を単純な欠損部位ペナルティとして扱う既存のモデルが、重度の切断や部分的可視性下で失敗するという限界を克服すること。
• 異なる度合いの隠蔽を、接続された部分木（フレキシブルコンポジション）の混合として明示的に表現する構造的モデルの開発。
• フレキシブルコンポジション間で部品を共有することで推論の効率を向上させ、組み合わせ的増加に伴う計算コストの増大を抑えながら、近似的に線形のスケーリングを実現すること。
• 接続性の事前知識と学習された隠蔽の兆候の組み合わせにより、ベンチマークデータセットで顕著な性能向上を実証すること。

提案手法

• ノードを体の部位、エッジを空間的関係として定義する木構造のグラフィカルモデルとして人体をモデル化する。
• 完全なグラフィカルモデルの部分木である「フレキシブルコンポジション」の概念を導入し、隠蔽下での妥当な可視構成を表現する。
• 隠蔽境界付近の局所的測定（IDOD用語）を用いて、画像データから隠蔽の兆候を学習する。これにより、エッジの抑制によって隠蔽の証拠がエンコードされる。
• 2種類の隠蔽信号を統合する：(1) 期待される体部の証拠が欠落していること（例：肘の近くに手首が存在しない）、(2) 関節領域付近の局所的画像特徴（例：T字接合、テクスチャの不連続性）。
• 重複するフレキシブルコンポジション間で計算を再利用することで、1つの全モデル推論の2倍のコストに抑えることで、効率的推論を実現する。
• ラベル付きデータを用いてエンドツーエンドに学習し、識別的学習により部品の配置と隠蔽状態を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 隠蔽されたシーンにおける可視部位が、どれほど接続された部分木を形成するか。これにより、モデルで用いられる接続性事前知識の妥当性が検証される。
• RQ2 フレキシブルコンポジションの混合として隠蔽をモデル化することで、固定部位モデルと比較してパース精度がどの程度向上するか。
• RQ3 学習された隠蔽の兆候（IDOD用語）と欠損証拠信号の両方が、隠蔽に対するロバストネス向上に果たす寄与度は何か。
• RQ4 組み合わせ的増加が著しい多数のフレキシブルコンポジションに対して、計算コストが著しく増大することなく効率的推論が可能か。
• RQ5 We Are FamilyベンチマークにおけるPCPおよびAOP指標において、本手法は最先端手法と比較してどの程度優れているか。

主な発見

• WAFデータセットにおける人体インスタンスの95.1%が、可視部位が接続された部分木を形成しており、本モデルで用いられる接続性事前知識の妥当性が裏付けられた。
• フレキシブルコンポジションモデル（FC）は、隠蔽を明示的にモデル化しないベースモデル[6]と比較して、平均PCPを11.6%、AOPを8.1%向上させた。
• IDOD隠蔽の兆候を追加した（FC + IDOD）モデルでは、平均PCPが80.7%、AOPが84.9%にまで上昇し、最も優れた先行手法[11]と比較して、平均PCPで11.3%、AOPで4.9%高い性能を達成した。
• 本モデルはWAFデータセットで最先端の性能を達成しており、特に隠蔽が最も一般的な上腕部および下腕部において顕著な向上が見られた。
• 診断的アブレーションにより、フレキシブルコンポジションとIDODの両方が不可欠であることが確認された。いずれかを除去すると、性能が著しく低下した。
• すべてのフレキシブルコンポジションを用いた推論は、通常の全モデル推論の2倍のコストにとどまり、効率的な学習とデプロイメントを可能にした。