[論文レビュー] Boundary Content Graph Neural Network for Temporal Action Proposal Generation

Yueran Bai, Yingying Wang+4 more|arXiv (Cornell University)|Aug 4, 2020

Human Pose and Action Recognition参考文献 29被引用数 7

ひとこと要約

本稿では、境界予測とアクションコンテンツ特徴の間の相互作用をモデル化することで、高品質なアクション提案を生成する、新しいグラフベースのフレームワークである境界コンテンツグラフニューラルネットワーク（BC-GNN）を提案する。境界をノード、コンテンツをエッジとしてグラフに表現し、独自のグラフ推論操作を用いることで、境界の正確性とコンテンツの信頼性の両方を向上させ、ActivityNet-1.3およびTHUMOS14で、複雑な後処理や補助的コンponentを用いない状態で最先端の性能を達成する。

ABSTRACT

Temporal action proposal generation plays an important role in video action understanding, which requires localizing high-quality action content precisely. However, generating temporal proposals with both precise boundaries and high-quality action content is extremely challenging. To address this issue, we propose a novel Boundary Content Graph Neural Network (BC-GNN) to model the insightful relations between the boundary and action content of temporal proposals by the graph neural networks. In BC-GNN, the boundaries and content of temporal proposals are taken as the nodes and edges of the graph neural network, respectively, where they are spontaneously linked. Then a novel graph computation operation is proposed to update features of edges and nodes. After that, one updated edge and two nodes it connects are used to predict boundary probabilities and content confidence score, which will be combined to generate a final high-quality proposal. Experiments are conducted on two mainstream datasets: ActivityNet-1.3 and THUMOS14. Without the bells and whistles, BC-GNN outperforms previous state-of-the-art methods in both temporal action proposal and temporal action detection tasks.

研究の動機と目的

• 正確な境界と豊富なアクションコンテンツを備えた高品質な時間的アクション提案を生成する課題に対処すること。
• 従来の手法がしばしば無視する、境界確率予測とコンテンツ信頼度評価の間の明示的相互作用をモデル化すること。
• 動画セグメントのグラフ構造的表現を活用することで、時間的アクション提案生成と検出を向上させること。
• ノード（境界）とエッジ（コンテンツ）の両方の特徴を統合的なフレームワーク内で更新する、新しいグラフ推論メカニズムを設計すること。
• 複雑な後処理や補助的コンponentに依存せずに、標準ベンチマークで最先端の性能を達成すること。

提案手法

• BC-GNNは、一定間隔の時間的位置をノードとし、ノードのペア間のコンテンツをエッジとして表現するグラフを構築する（ただし、開始 < 終了のときのみ）。
• ノード（境界）とエッジ（コンテンツ）の両方の特徴を、メッセージパッシングを通じて更新する、新しいグラフ推論操作を用いる。
• エッジ特徴は、接続されたノードからの情報とエッジ自身の表現を統合する学習可能な関数を用いて更新される。
• ノード特徴は、すべての接続エッジからのメッセージを集約することで更新され、境界予測が周囲のコンテンツから利益を得られる。
• 最終的な出力モジュールは、1つの更新済みエッジとその2つの接続ノードを用いて、境界確率とコンテンツ信頼度スコアを予測する。
• 最終的な提案スコアは、境界確率とコンテンツ信頼度の重み付き組み合わせとして計算され、高品質な提案生成を可能にする。

実験結果

リサーチクエスチョン

• RQ1 境界予測とコンテンツ信頼度の相互作用をモデル化することで、時間的アクション提案の品質が向上するか？
• RQ2 境界とコンテンツ情報を両方持つ時間的提案を効果的に表現するためには、グラフニューラルネットワークをどのように構造化すべきか？
• RQ3 学習可能なエッジ更新を備えた有向グラフは、無向グラフや固定エッジを持つグラフを上回る性能を発揮するか？
• RQ4 統合的なグラフベースのフレームワークは、2段階または独立した予測パイプラインを上回る性能を発揮するか？
• RQ5 提案されたグラフ推論メカニズムは、標準ベンチマークでどの程度性能を向上させるか？

主な発見

• ActivityNet-1.3では、100件の提案における平均リCALLが76.73%に達し、以前のSOTA手法を上回った。
• THUMOS14では、0.3のIoU閾値で46.3%のmAPを達成し、すべての既存の2段階手法を上回った。
• アブレーションスタディの結果、有向エッジとエッジ特徴の更新が両方とも不可欠であることが確認され、両者を組み合わせた場合、AUCが0.89ポイント向上した。
• 追加の装飾や補助コンponentを使用せずに、時間的アクション提案生成と検出の両タスクで最先端の性能を達成した。
• グラフ推論モジュールは特徴表現を顕著に向上させ、最も優れたバリエーションでは検証セットで68.05%のAUCを達成した。
• 本手法はデータセット間で良好に一般化され、ActivityNet-1.3およびTHUMOS14の両方で一貫した改善を示した。