[論文レビュー] Pose-Guided Multi-Granularity Attention Network for Text-Based Person Search

Ya Jing, Chenyang Si+4 more|arXiv (Cornell University)|Sep 22, 2018

Video Surveillance and Tracking Methods参考文献 32被引用数 15

ひとこと要約

本稿では、テキストベースの人物検索のためのポーズガイドドマルチグレインラシー・アテンションネットワーク（PMA）を提案する。本手法は、グローバルなテキスト・イメージ類似度による粗いアライメントと、人間のポーズを用いた詳細なアライメントにより、名詞句を特定の身体部位に結びつける。本手法は、ポーズに敏感なアテンション機構を用いてマルチグレインラシーな視覚的・言語的アライメントを効果的にモデル化することで、CUHK-PEDESデータセットにおいて最先端手法よりもトップ1精度で15%の向上を達成した。

ABSTRACT

Text-based person search aims to retrieve the corresponding person images in an image database by virtue of a describing sentence about the person, which poses great potential for various applications such as video surveillance. Extracting visual contents corresponding to the human description is the key to this cross-modal matching problem. Moreover, correlated images and descriptions involve different granularities of semantic relevance, which is usually ignored in previous methods. To exploit the multilevel corresponding visual contents, we propose a pose-guided multi-granularity attention network (PMA). Firstly, we propose a coarse alignment network (CA) to select the related image regions to the global description by a similarity-based attention. To further capture the phrase-related visual body part, a fine-grained alignment network (FA) is proposed, which employs pose information to learn latent semantic alignment between visual body part and textual noun phrase. To verify the effectiveness of our model, we perform extensive experiments on the CUHK Person Description Dataset (CUHK-PEDES) which is currently the only available dataset for text-based person search. Experimental results show that our approach outperforms the state-of-the-art methods by 15 \% in terms of the top-1 metric.

研究の動機と目的

• テキスト記述と視覚的特徴の間のマルチグレインラシーな意味的関連性をモデル化することで、テキストベースの人物検索におけるクロスマodalマッチングの課題に取り組む。
• 背景や関係のないコンテンツからの干渉を減らすために、記述に関連する画像領域に焦点を当てることで、視覚的特徴選択を改善する。
• 人間のポーズを監視信号として用いることで、文の名詞句と特定の人体部位との間の詳細なアライメントを向上させる。
• 粗いおよび詳細なアテンションメカニズムを統合した包括的なフレームワークを構築し、検索性能を向上させる。

提案手法

• 粗いアライメントネットワーク（CA）は、類似度に基づくハードアテンションを用いて、テキスト全体の記述に最も関連する画像領域を選択する。
• ポーズ信頼度マップを入力画像に連結することで、グローバル表現を強化し、領域選択をガイドする。
• 詳細なアライメントネットワーク（FA）は、ポーズ情報を用いて個々の名詞句と対応する視覚的身体部位間のアテンションをガイドする。
• FAは、ポーズガイドド特徴アライメントを用いたソフトアテンションを採用し、フレーズレベルでの潜在的意味的対応関係をモデル化する。
• 一般化およびマッチング精度の向上を図るため、ランク付け損失と識別損失の両方を用いてモデルを訓練する。
• CAではハードアテンションを適用して類似度が低い領域をフィルタリングする一方、FAではソフトアテンションを用いて滑らかな特徴重み付けを行う。

実験結果

リサーチクエスチョン

• RQ1 テキストと画像間のマルチグレインラシーなアライメントは、テキストベースの人物検索性能を向上させることができるか？
• RQ2 人間のポーズ情報を組み込むことで、詳細な視覚的・言語的マッチングの正確性はどのように向上するか？
• RQ3 個々の語ではなく名詞句を用いることで、特定の身体部位へのアライメントがより良くなるか？
• RQ4 ハードアテンションは、記述に関連する画像領域の選択においてソフトアテンションを上回るか？
• RQ5 ポーズガイドドアテンションメカニズムは、関連する視覚的特徴の解釈可能性および局所化をどの程度向上させるか？

主な発見

• 提案されたPMAモデルは、CUHK-PEDESデータセットでトップ1精度53.81%を達成し、最先端手法よりも相対的に15%の向上を示した。
• 粗いアライメントネットワーク（CA）は、ポジティブな画像・テキストペアに対して約6つの関連する画像領域を選択し、ネガティブペアでは最大20の領域を選択する。これは、関係のないコンテンツの効果的なフィルタリングを示している。
• アブレーションスタディの結果、ポーズ情報の削除によりトップ1精度が52.54%に低下し、詳細なアライメントにおいてその重要性が確認された。
• 名詞句のガイドラインを削除すると、トップ1精度は52.71%に低下し、フレーズレベルの意味情報が語レベルの特徴よりもより有用であることが示された。
• CAでハードアテンションを用いたモデルはソフトアテンションを上回る性能を示し、類似度が低い領域をフィルタリングすることでマッチングのロバストネスが向上することを裏付けた。
• 定性的な可視化により、モデルが関連する身体部位（例：「テニスシューズ」に対して「足」）および対応するテキストフレーズに注目していることが確認され、解釈可能性が向上した。