[論文レビュー] Pairwise Body-Part Attention for Recognizing Human-Object Interactions

Hao-Shu Fang, Jinkun Cao+2 more|arXiv (Cornell University)|Jul 28, 2018

Human Pose and Action Recognition被引用数 8

ひとこと要約

本稿では、ヒト・オブジェクト連携（HOI）認識のためのペアワイズボディパーツアテンションモデルを提案する。このモデルは、判別性の高いボディパーツとそれらの相関関係に明示的に注目し、ROIプーリングとアテンション機構を用いて特徴選択を向上させる。本手法はHICOデータセットにおいて、前人最高の36.1 mAPから39.9 mAPへ10%の相対的改善を達成し、パーツレベルのアテンションとペアワイズ特徴相関を活用することで、先行研究を上回る性能を発揮する。

ABSTRACT

In human-object interactions (HOI) recognition, conventional methods consider the human body as a whole and pay a uniform attention to the entire body region. They ignore the fact that normally, human interacts with an object by using some parts of the body. In this paper, we argue that different body parts should be paid with different attention in HOI recognition, and the correlations between different body parts should be further considered. This is because our body parts always work collaboratively. We propose a new pairwise body-part attention model which can learn to focus on crucial parts, and their correlations for HOI recognition. A novel attention based feature selection method and a feature representation scheme that can capture pairwise correlations between body parts are introduced in the model. Our proposed approach achieved 4% improvement over the state-of-the-art results in HOI recognition on the HICO dataset. We will make our model and source codes publicly available.

研究の動機と目的

• ヒト・オブジェクト連携（HOI）認識における包括的または粗いボディパーツアテンションの限界を解消するため、細分化された非一様なボディパーツへの注目をモデル化すること。
• 実際の相互作用においてボディパーツが協働して機能する傾向を踏まえ、ボディパーツ間の相関関係を明示的にモデル化することで、HOI認識を向上させること。
• ボディパーツ間のペアワイズ相関を捉える特徴表現スキームを構築すること。
• 各HOIラベルに対して最も判別性の高いボディパーツペアを自動的に選択するエンド・ツー・エンドで訓練可能なアテンション機構を設計すること。
• 特に詳細なボディパーツ理解を要する状況を想定し、HICOおよびMPIIデータセットで顕著な性能向上を示すこと。

提案手法

• 各ボディパーツペアからの結合特徴マップを抽出するためのペアワイズROIプーリングを導入し、関係のない特徴を除外する。
• 各HOIラベルに対して最も関連性の高いボディパーツペアに注目する、新しいアテンションベースの特徴選択機構を提案する。
• 学習可能なアテンションモジュールを用いて、ボディパーツ間のペアワイズ相関をエンコードする特徴表現を構築する。
• 選択されたペアワイズ特徴を、グローバルなヒト、オブジェクト、バックグラウンド特徴と組み合わせ、最終的なHOI予測を行う。
• 特徴選択とHOI分類の両方を最適化するため、マルチタスク損失を用いてモデルをエンド・ツー・エンドで訓練する。
• 物理的および機能的制約をモデル化するため、事前に定義されたボディパーツペア（例：左肘–首、右手首–首）のセットを用いる。

実験結果

リサーチクエスチョン

• RQ1 特定のボディパーツに対して非一様なアテンションをモデル化することで、包括的または粗いパーツレベルのアテンションを上回るHOI認識性能が向上するか？
• RQ2 ボディパーツ間のペアワイズ相関を捉えることで、細分化されたボディパーツ理解を要するHOIクラスの識別性が向上するか、特にそのようなクラスにおいて？
• RQ3 学習されたアテンション機構は、特定の相互作用においてどのボディパーツが最も関連性があるかという人間の直感とどれほど整合性を示すか？
• RQ4 本手法は、関係のないボディパーツを除外することで、誤検出（ファルス・ポジティブ）をどれほど低減できるか？
• RQ5 本手法は、微妙なまたは複雑なジェスチャーを伴う多様なHOIカテゴリに一般化できるか？

主な発見

• 提案手法は、HICOデータセットにおいて前人最高の36.1 mAPから39.9 mAPへ10%の相対的改善を達成した。
• 特に詳細なボディパーツ理解を要するHOIカテゴリ、たとえば「りんごを買う」（19.3 → 59.0 mAP）や「鳥を放す」（14.5 → 51.3 mAP）において、顕著な性能向上を示した。
• トップ5アテンション精度は0.76に達し、学習されたアテンションが人間の直感と強い整合性を示していることが示された。
• アブレーションスタディの結果、特徴選択層を削除するとmAPが1.2低下し、関係のないボディパーツペアを除外する重要性が確認された。
• ペアワイズROIプーリングとアテンションベースの選択により、不要なボディパーツを除外することで誤検出が低減された。
• 失敗事例の主な原因は、曖昧なバックグラウンド特徴や、現在のフレームワークでモデル化されていないマルチプレイヤーの相互作用である。