[論文レビュー] Structured Label Inference for Visual Understanding

Nelson Nauata, Hexiang Hu+4 more|arXiv (Cornell University)|Feb 18, 2018

Human Pose and Action Recognition参考文献 27被引用数 6

ひとこと要約

本稿では、視覚理解タスクにおける階層的かつ相関するラベル関係をモデル化するため、双方向的かつ構造化された推論ニューラルネットワーク（BINN/SINN）を用いたグラフベースの構造的推論フレームワークを提案する。LSTM拡張を用いてラベル空間の依存関係と時間的ダイナミクスを統合することで、マルチラベル画像および動画分類、アクション検出において顕著な性能向上を達成し、THUMOSでは最大43.9%のmAP、MultiTHUMOSでは31.5%を記録し、強力なベースラインを上回った。

ABSTRACT

Visual data such as images and videos contain a rich source of structured semantic labels as well as a wide range of interacting components. Visual content could be assigned with fine-grained labels describing major components, coarse-grained labels depicting high level abstractions, or a set of labels revealing attributes. Such categorization over different, interacting layers of labels evinces the potential for a graph-based encoding of label information. In this paper, we exploit this rich structure for performing graph-based inference in label space for a number of tasks: multi-label image and video classification and action detection in untrimmed videos. We consider the use of the Bidirectional Inference Neural Network (BINN) and Structured Inference Neural Network (SINN) for performing graph-based inference in label space and propose a Long Short-Term Memory (LSTM) based extension for exploiting activity progression on untrimmed videos. The methods were evaluated on (i) the Animal with Attributes (AwA), Scene Understanding (SUN) and NUS-WIDE datasets for multi-label image classification, (ii) the first two releases of the YouTube-8M large scale dataset for multi-label video classification, and (iii) the THUMOS'14 and MultiTHUMOS video datasets for action detection. Our results demonstrate the effectiveness of structured label inference in these challenging tasks, achieving significant improvements against baselines.

研究の動機と目的

• 独立ラベル仮定を越えて、複雑な階層的ラベル関係をモデル化することにより、マルチラベル画像および動画分類の性能を向上させること。
• ラベルが部分的に観測される状況に対処し、構造的ラベル依存関係を用いて欠落ラベルを正確に推論すること。
• 静的ラベル推論を非トリム動画に拡張し、LSTM強化構造的推論フレームワークを用いてアクションの時間的進行を組み込むこと。
• AwA、SUN、NUS-WIDE、YouTube-8M、THUMOS、MultiTHUMOSを含む多様なベンチマークで一貫した性能向上を示すこと。

提案手法

• ノードが意味的ラベルを表し、エッジが階層的および共起関係を符号化するラベル関係グラフを用い、ラベル間で双方向の情報伝達を可能にする。
• 構造的推論ニューラルネットワーク（SINN）を用いてラベルノード間を通過する活性化を伝搬させ、粗いラベルから細かいラベルへと段階的な接続性を介して予測を精緻化する。
• LSTMベースの拡張（siLSTM）を導入し、構造的ラベル情報を隠れ状態に統合することで、非トリム動画におけるアクションの時間的進行をモデリングする。
• ラベル系列における前向きおよび後向きの時間的依存関係を捉えるために、双方向推論（biLSTM）を適用し、アクション検出性能を向上させる。
• WordNetを用いてラベルグラフを自動構築し、手動設計を不要とすることで、ゼロショットまたはフェイントショットラベル推論を可能にする。
• タイムライン可視化および評価のため、しきい値0.5の予測を用いる。これは、標準のアクション検出メトリクスと整合している。

実験結果

リサーチクエスチョン

• RQ1 グラフベースのニューラルネットワークを用いた構造的ラベル推論は、独立ラベル仮定を越えてマルチラベル画像分類を向上させることができるか？
• RQ2 特にYouTube-8Mのような大規模動画データセットにおいて、部分的に観測されたラベル状況に対し、構造的ラベル推論はどの程度有効か？
• RQ3 LSTM強化構造的推論による時間的モデリングは、標準のRNNベースラインと比較して、非トリム動画における高密度アクション検出を改善できるか？
• RQ4 階層的ラベル依存関係と時間的ダイナミクスを同時に組み込むことで、視覚理解タスクの性能はどの程度向上するか？

主な発見

• 単一フレームのSINNモデルは、THUMOSで38.2%のmAP、MultiTHUMOSで27.0%を達成し、単一フレームCNNベースラインと比較してそれぞれ2.7%、2.4%の向上を示した。
• LSTMベースのモデルは、THUMOSで41.8%のmAP、MultiTHUMOSで30.5%を達成し、CNNベースラインと比較してそれぞれ6.3%、5.9%の向上を示した。
• siLSTMモデルは、THUMOSで43.9%のmAP、MultiTHUMOSで31.5%を達成し、LSTMベースラインと比較してそれぞれ2.1%、1.0%の向上を示した。
• siLSTMモデルは、LSTMベースラインと比較して、THUMOSおよびMultiTHUMOSでそれぞれ2.1%および1.0%の相対的向上を示し、MultiLSTMと同等の競争力を持つことが確認された。
• 本手法は、ラベルが部分的に観測される状況でも頑健であり、ベースラインよりも高い信頼性で欠落ラベルを正確に予測できた。
• 図7のタイムライン可視化から、siLSTMは単一フレームまたは標準LSTMベースラインと比較して、より正確で時間的に整合性のあるラベル予測を生成することが確認された。