[論文レビュー] YH Technologies at ActivityNet Challenge 2018

Ting Yao, Xue Li|arXiv (Cornell University)|Jun 29, 2018

Human Pose and Action Recognition参考文献 23被引用数 11

ひとこと要約

本論文では、ActivityNet Challenge 2018におけるYH Technologiesのマルチタスク動画理解システムを提示する。時間的行動提案、局所化、高密度キャプション、トリムド行動認識、時空間的行動局所化の5つのタスクを統合している。アプローチは、マルチスケール1次元畳み込みネットワーク、2ストリームP3D分類器、およびポリシー勾配とリトリーブ強化キャプションを用いたハイブリッド特徴抽出（フレーム、クリップ、動き、音声）を活用し、すべての5つのタスクで最先端の結果を達成した。特に、時空間的行動局所化ではAVAで22.20%のmAPを達成した。

ABSTRACT

This notebook paper presents an overview and comparative analysis of our systems designed for the following five tasks in ActivityNet Challenge 2018: temporal action proposals, temporal action localization, dense-captioning events in videos, trimmed action recognition, and spatio-temporal action localization.

研究の動機と目的

• 実世界の設定における複雑でトリムドされていない動画解析に耐性があり、多様なタスクを統合した動画理解システムの開発。
• 粗くから細かくまでの提案生成と再ランク付け、およびマルチストリーム特徴を組み合わせることで、時間的行動局所化の性能を向上させること。
• リトリーブ補強キャプションを用いて、トリムドされていない動画内の複数のイベントに対して多様で正確な自然言語記述を生成すること。
• 再帰的アーキテクチャを用いてチューブレット提案をモデル化し、時空間的チューブ全体で行動を認識することで、時空間的行動局所化の性能を向上させること。
• 2次元および3次元畳み込みニューラルネットワーク（CNN）を用いて、フレーム、クリップ、オプティカルフローから得られる補完的で時空間的な手がかりを統合することで、トリムド行動認識の性能を向上させること。

提案手法

• 時間的行動提案のための3段階パイプライン：ポイントワイズ、ペアワイズ、再帰的アクションネスカーブを用いた粗い提案ネットワーク（CPN）；精製のための時間的畳み込みアンカー・ネットワーク（CAN）；最終選択のための提案再ランク付けネットワーク（PRN）。
• 時間的行動局所化のための「分類による検出」フレームワーク：TAPシステムからの提案と、2ストリームP3D分類器を用いた行動認識。
• 高密度キャプションのためのLSTMベースの生成モジュールにポリシー勾配最適化を適用し、KNNを用いたリトリーブモジュールで意味的に類似した動画セグメントを検索し、文の候補を生成する。
• トリムド行動認識のための、フレームレベル（ResNet）、クリップレベル（P3D ResNet）、動きレベル（オプティカルフロー）の特徴を2次元および3次元CNNを用いて後期統合する。
• 時空間的行動局所化のための2ストリームシステム：再帰的チューブレット提案（RTP）ネットワークは、RPNと動き推定を用いてフレーム間で提案を生成・連結する。再帰的チューブレット認識（RTR）ネットワークは、クロップド、RoIプールド、全体フレームのマルチチャネル特徴をCNN-LSTMユニットに供給し、チューブレットレベルでの認識を実現する。
• フレームサンプリングレートやオプティカルフロー処理を含む、さまざまなモodalの特徴量子化戦略を評価し、一貫して1ビデオあたり25フレームを用いた。

実験結果

リサーチクエスチョン

• RQ1 マルチスケール・マルチレベルのアクションネスカーブは、トリムドされていない動画における初期時間的行動提案の品質をどのように向上させるか？
• RQ2 ポリシー勾配最適化とリトリーブベースの文の候補を組み合わせることで、DCEVタスクにおける動画キャプション性能はどの程度向上するか？
• RQ3 フレーム、クリップ、動き特徴を統合する最適な統合戦略は何か？ これにより、トリムド行動認識の精度がどのように向上するか？
• RQ4 再帰的チューブレット提案および認識ネットワークは、複雑な動画において高いmAPを達成するための時空間的行動局所化を効果的にモデル化できるか？
• RQ5 異なる特徴量子化手法は、複数のタスクにわたる動画理解システムの性能にどのように影響を与えるか？

主な発見

• CPN、CAN、PRNを統合した提案されたTAPシステムは、3つの補完的アクションネスカーブとマルチスケールの精製を組み合わせることで、高品質な時間的行動提案を達成した。
• ポリシー勾配とリトリーブモジュールを備えた高密度キャプションシステムは、顕著なMETEORスコアの向上を達成し、強化学習と外部文のリトリーブの有効性を示した。
• トリムド行動認識においては、P3D ResNetを用いたフレーム、短いクリップ、動き特徴の後期統合が最高の性能を示し、128フレームクリップで19.40%のmAPを達成した。
• RTR部は、複数ストリームを統合した際、AVA検証セットで22.20%のmAPを達成し、個々のコンponentsを上回った。
• P3D ResNetで128フレームクリップを用いることで、RTRの最良の単一ストリーム性能（19.40% mAP）が得られ、時空間認識における長いコンテキストの利点を示した。
• 上位300件の近隣を検索するリトリーブモジュールは、多様で文脈的に関連する文の候補を提供することで、キャプション品質を顕著に向上させた。