[論文レビュー] Learning to Detect Human-Object Interactions

Yu-Wei Chao, Yunfan Liu+3 more|arXiv (Cornell University)|Feb 17, 2017

Multimodal Machine Learning Applications参考文献 36被引用数 26

ひとこと要約

本論文は、600のHOIカテゴリにわたり15万件のインスタンスアノテーションを含む、大規模なHICO-DETという人間-対象インタラクション（HOI）検出のためのベンチマークを紹介する。また、人間と対象のバウンディングボックス間の空間的表現として学習された「インタラクションパターン」を用いることで、ベースライン手法よりも顕著に検出精度を向上させる、領域ベースのCNNフレームワークであるHO-RCNNを提案する。本研究は、新ベンチマーク上で最先端のmAPを達成した。

ABSTRACT

We study the problem of detecting human-object interactions (HOI) in static images, defined as predicting a human and an object bounding box with an interaction class label that connects them. HOI detection is a fundamental problem in computer vision as it provides semantic information about the interactions among the detected objects. We introduce HICO-DET, a new large benchmark for HOI detection, by augmenting the current HICO classification benchmark with instance annotations. To solve the task, we propose Human-Object Region-based Convolutional Neural Networks (HO-RCNN). At the core of our HO-RCNN is the Interaction Pattern, a novel DNN input that characterizes the spatial relations between two bounding boxes. Experiments on HICO-DET demonstrate that our HO-RCNN, by exploiting human-object spatial relations through Interaction Patterns, significantly improves the performance of HOI detection over baseline approaches.

研究の動機と目的

• 人間-対象インタラクション（HOI）検出のための大規模かつインスタンスレベルのベンチマークが不足しているという問題に対処し、画像内でのインタラクションの局所化と分類の進展を促進すること。
• 画像レベルのHOI分類とオブジェクト検出のギャップを埋めるために、人間-対象のインタラクションを同時に局所化および分類可能にするフレームワークの構築。
• 人間と対象の間の空間的および意味的関係を効果的にモデル化する深層学習フレームワークの開発により、検出性能の向上を図ること。
• 「インタラクションパターン」と呼ばれる新しい特徴表現を用いて、空間的コンテキストがHOI検出にどの程度有効であるかを評価すること。

提案手法

• 人間と対象のバウンディングボックスペアに加え、インタラクションクラスラベルを予測できる二段階のオブジェクト検出フレームワーク「HICO-RCNN」を提案する。
• 「インタラクションパターン」として、相対的な位置、サイズ、重複度の特徴を用いて二つのバウンディングボックス間の空間的構成を符号化する深層ニューラルネットワーク入力の導入。
• 人間および対象の候補領域を生成するための領域提案ネットワーク（RPN）を用い、それらを組み合わせて人間-対象の候補領域を生成し、同時に分類と回帰を実行する。
• 特徴抽出のための共有バックボーン（例：ResNet）を用い、その後にインタラクションパターンを入力として受け取る領域別分類器を配置して、インタラクションクラスを予測する。
• 分類、バウンディングボックス回帰、およびインタラクション予測を統合したマルチタスク損失関数を用い、エンドツーエンドでモデルを訓練する。
• 検出スコアとインタラクションパターン特徴を統合するスコアヘッド（S）を用いたラテン統合戦略を採用し、予測を精緻化する。

実験結果

リサーチクエスチョン

• RQ1 大規模かつインスタンスレベルのベンチマークは、人間-対象インタラクション検出の評価と進展を向上させることができるか？
• RQ2 学習された「インタラクションパターン」を用いて人間と対象の空間的関係をモデル化することは、HOI検出においてどの程度有効か？
• RQ3 インタラクションパターンによる空間的コンテキストの統合は、空間的構成を無視するベースライン手法よりも顕著な性能向上をもたらすか？
• RQ4 特徴統合や候補領域生成といった異なる設計選択肢は、HOIタスクにおける最終的な検出精度にどのように影響を与えるか？

主な発見

• インタラクションパターンを用いたHO-RCNN（HO+IP1 (conv)+S）は、既知の対象設定でmAP 10.41%、デフォルト設定で7.81%を達成し、ベースライン手法を著しく上回った。
• 単一の注目窓を人間と対象の両方で使用するFast-RCNN（ユニオン）ベースラインは、デフォルト設定でmAP 1.75%にとどまり、グローバルコンテキストだけではインタラクションを区別することが不十分であることが示された。
• 検出スコアのみに依存するFast-RCNN（スコア）ベースラインは、デフォルト設定でmAP 2.85%を達成し、オブジェクト検出の信頼度だけではインタラクション認識が不十分であることが示された。
• 人間-対象の候補領域において、50件の検出あたり57.17%の平均リCALLを達成したが、候補領域の数が2乗的に増加するため、依然としてボトルネックとなっており、より良い候補領域生成法の開発の余地がある。
• 誤差解析の結果、性能が低いクラスは主に偽陰性に起因しており、候補領域のリCALLを向上させることでmAPのさらなる向上が期待できることが示された。
• 定性的な結果から、HO-RCNNは「自転車をこぐ」や「りんごを切る」のような複雑なインタラクションを正しく検出している一方、誤検出は主に誤ったインタラクションクラスの予測や不正確なバウンディングボックスに起因していることが明らかになった。