[論文レビュー] Learning to Learn Relation for Important People Detection in Still Images

Weihong Li, Fa-Ting Hong+1 more|arXiv (Cornell University)|Apr 7, 2019

Multimodal Machine Learning Applications参考文献 21被引用数 6

ひとこと要約

この論文では、静止画における重要な人物を検出するために、人物同士およびイベントと人物の相互作用を統合的にモデル化する深層学習フレームワークPOINTを提案する。スタックされた相互作用モジュールを通じて関係特徴を学習し、それらをアイデンティティ特徴と統合することで、POINTは2つのベンチマークデータセットで最先端の性能を達成し、PersonRank や VIP よりも優れた結果を示した。それぞれのmAPスコアは92.0%および72.6%であった。

ABSTRACT

Humans can easily recognize the importance of people in social event images, and they always focus on the most important individuals. However, learning to learn the relation between people in an image, and inferring the most important person based on this relation, remains undeveloped. In this work, we propose a deep imPOrtance relatIon NeTwork (POINT) that combines both relation modeling and feature learning. In particular, we infer two types of interaction modules: the person-person interaction module that learns the interaction between people and the event-person interaction module that learns to describe how a person is involved in the event occurring in an image. We then estimate the importance relations among people from both interactions and encode the relation feature from the importance relations. In this way, POINT automatically learns several types of relation features in parallel, and we aggregate these relation features and the person's feature to form the importance feature for important people classification. Extensive experimental results show that our method is effective for important people detection and verify the efficacy of learning to learn relations for important people detection.

研究の動機と目的

• 人物の特徴だけでなく、複雑な社会的および文脈的関係にも依存する、静止画における重要な人物の検出という課題に対処すること。
• 手作業で設計された特徴に依存せずに、人物とイベントの間の信頼性が高く効果的な関係特徴を自動で学習する手法を開発すること。
• 関係モデリングと特徴学習を統合的な深層ネットワークに組み込むことで、重要度分類の性能を向上させること。
• PersonRank や VIP よりも精度と推論速度の両面で優れた性能を示す、重要な人物検出の手法を実現すること。

提案手法

• POINTは二重の相互作用モジュールを採用する：人物同士の相互作用により、個々の人物間の対比較的関係をモデル化し、イベントと人物の相互作用により、各人物の全体的なイベント参加度を推定する。
• 相互作用重みの計算には加法的アテンション機構を用い、アブレーションスタディではスケーリングされたドット積アテンションよりも優れた性能を示した。
• 関係特徴は、相互作用グラフから二つの異なる方法で推定される：一つはイベントのグローバルな文脈を事前知識として用いる方法、もう一つはイベントグラフを追加入力として扱う方法。
• 複数のサブモジュールからの関係特徴を連結し、残差接続を介してアイデンティティ特徴と統合することで、最終的な重要度表現を形成する。
• 分類のためのクロスエントロピー損失を用いてエンドツーエンドでネットワークを訓練し、関係モデリングと特徴統合の最適化に向けたハイパーパrameterを調整した。
• アーキテクチャは、関係サブモジュール数（r）とスタックされた関係モジュール数（Nr）を可変として扱えるため、多様な関係パターンの柔軟なモデリングが可能である。

実験結果

リサーチクエスチョン

• RQ1 手作業で設計された特徴に依存せずに、社会的イベント画像内の人物同士の意味のある関係特徴を深層学習モデルが自動で学習できるか。
• RQ2 人物同士およびイベントと人物の両方の相互作用をモデル化することで、重要な個人の検出性能がどのように向上するか。
• RQ3 グローバルなイベントレベルの文脈を関係学習プロセスに統合することで、重要度予測にどのような影響を与えるか。
• RQ4 異なるアテンション機構が、このタスクにおける関係モデリングの性能にどのように影響を与えるか。
• RQ5 提案されたフレームワークは、既存の手法と比較して、精度を維持または向上させつつ、より高速な推論速度を達成できるか。

主な発見

• POINTはMSデータセットで92.0%、NCAAデータセットで72.6%の平均平均精度（mAP）を達成し、新たな最先端性能を樹立した。
• モデルは1秒間に10フレームの処理速度を示し、PersonRank（0.2 fps）やVIP（0.06 fps）よりも顕著に高速であった。
• スケーリングされたドット積アテンションではなく加法的アテンションを用いることで、NCAAデータセットで1.1%の性能向上（97.3% vs 96.2%）が達成された。
• グローバルなイベント情報（事前知識）を統合することで、NCAAデータセットで1.3%の性能向上が得られ、イベントグラフを追加入力として扱う手法（0.7%向上）を上回った。
• 複数の関係サブモジュール（r > 1）とスタックされた関係モジュール（Nr > 1）を用いることで性能が向上し、MSではr=4、Nr=2、NCAAではNr=4が最適な設定であった。
• 可視化比較では、POINTはPersonRankがしばしば失敗するような複雑なシーンにおいても、最も重要な人物（例：シューター）を正しく特定していることが示された。