[論文レビュー] Spatio-temporal Person Retrieval via Natural Language Queries

Masataka Yamaguchi, Kuniaki Saito+2 more|arXiv (Cornell University)|Apr 26, 2017

Human Pose and Action Recognition参考文献 38被引用数 7

ひとこと要約

本論文では、自然言語クエリを用いて複数の動画内で人物を特定し、結果としてチューブ（バウンディングボックスの系列）を出力する、空間時間的人物検出システムを提案する。13.7時間の動画、62,627個のバウンディングボックス、30,365件の記述を含む新しいデータセットを構築し、空間時間的検出とマルチモーダル埋め込みを組み合わせたモデルを提示。強力な性能とクリップ検索および行動検出タスクへの一般化能力を示した。

ABSTRACT

In this paper, we address the problem of spatio-temporal person retrieval from multiple videos using a natural language query, in which we output a tube (i.e., a sequence of bounding boxes) which encloses the person described by the query. For this problem, we introduce a novel dataset consisting of videos containing people annotated with bounding boxes for each second and with five natural language descriptions. To retrieve the tube of the person described by a given natural language query, we design a model that combines methods for spatio-temporal human detection and multimodal retrieval. We conduct comprehensive experiments to compare a variety of tube and text representations and multimodal retrieval methods, and present a strong baseline in this task as well as demonstrate the efficacy of our tube representation and multimodal feature embedding technique. Finally, we demonstrate the versatility of our model by applying it to two other important tasks.

研究の動機と目的

• 自然画像を用意せず、自然言語記述のみで複数の動画にまたがる特定の人物を検索する課題に対処すること。
• 記述された人物の空間時間的軌跡を表すチューブ（バウンディングボックスの系列）を出力するシステムを開発すること。
• 時間的密度のあるアノテーションと自然言語記述を備えた大規模かつ多様なデータセットを構築し、このタスクの評価を可能にすること。
• マルチモーダル特徴埋め込みとチューブ表現を用いて、空間時間的人物検出の強力なベースラインを確立すること。
• クリップ検索や空間時間的行動検出といった関連タスクへの応用を通じて、モデルの汎用性を示すこと。

提案手法

• モデルはまず、CNNベースの空間時間的人物検出手法を用いて候補チューブを生成する。
• チューブは、動画フレームから抽出された外観、動き、空間時間的特徴の組み合わせで表現される。
• テキストクエリはディープニューラルネットワークを用いて符号化され、文脈を反映した埋め込みが生成される。
• マルチモーダル特徴埋め込み技術により、チューブとテキスト表現が共有の埋め込み空間に整列され、検索が可能になる。
• クエリとチューブのマッチングスコアは、学習された関連性関数を用いて計算され、上位K件のチューブが検索される。
• クリップ検索および行動検出のタスクでは、クリップ内での最大チューブスコアをクリップレベルのマッチングスコアとして使用する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングモデルは、自然言語記述のみを用いて複数の動画にまたがる人物を効果的に検索できるか？
• RQ2 異なるチューブおよびテキスト表現は、空間時間的人物検出タスクにおける検索性能にどのように影響するか？
• RQ3 提案されたマルチモーダル特徴埋め込み技術は、テキストクエリと人物チューブ間のクロスマダール整列を向上させるか？
• RQ4 1つのデータセットで学習したモデルは、クリップ検索や行動検出といった他の動画理解タスクへ一般化可能か？
• RQ5 提案手法は、新規データセットにおいて強力なベースラインと比較して、どの程度の性能を示すか？

主な発見

• 提案手法はクリップ検索タスクでR@1が0.415を達成し、ベースライン手法（0.373）を上回り、クリップレベル検索における有効性を示した。
• 空間時間的人物検出タスクにおいて最先端の性能を達成し、包括的なアブレーションスタディを通じて強力なベースラインを確立した。
• 微調整なしでUCF Sportsデータセット上で「走る」や「持ち上げる」などの行動インスタンスを正しく検出でき、優れたゼロショット一般化能力を示した。
• チューブ表現とマルチモーダル特徴埋め込みの使用は、他の構成と比較して、検索精度を顕著に向上させた。
• ActivityNetを基にしたデータセットにおける定性的な結果から、多様な行動や環境下でもモデルの性能が安定しており、ロバストであることが示された。
• モデルのアーキテクチャは関連タスクへの直接適用が可能であり、主な検索タスクを超えた汎用性を確認した。