[論文レビュー] BSN: Boundary Sensitive Network for Temporal Action Proposal Generation

Tianwei Lin, Xu Zhao+3 more|arXiv (Cornell University)|Jun 8, 2018

Human Pose and Action Recognition参考文献 40被引用数 95

ひとこと要約

BSNは局所から全体へのフレームワークを導入し、まず各位置で正確な時間境界とアクション性を検出し、次に境界を提案に結合して提案レベルの特徴で評価することで、少ない提案数で高い再現率と精度を達成します。

ABSTRACT

Temporal action proposal generation is an important yet challenging problem, since temporal proposals with rich action content are indispensable for analysing real-world videos with long duration and high proportion irrelevant content. This problem requires methods not only generating proposals with precise temporal boundaries, but also retrieving proposals to cover truth action instances with high recall and high overlap using relatively fewer proposals. To address these difficulties, we introduce an effective proposal generation method, named Boundary-Sensitive Network (BSN), which adopts "local to global" fashion. Locally, BSN first locates temporal boundaries with high probabilities, then directly combines these boundaries as proposals. Globally, with Boundary-Sensitive Proposal feature, BSN retrieves proposals by evaluating the confidence of whether a proposal contains an action within its region. We conduct experiments on two challenging datasets: ActivityNet-1.3 and THUMOS14, where BSN outperforms other state-of-the-art temporal action proposal generation methods with high recall and high temporal precision. Finally, further experiments demonstrate that by combining existing action classifiers, our method significantly improves the state-of-the-art temporal action detection performance.

研究の動機と目的

• 長時間で不要な内容を含む未トリミング動画に対して高品質な時間的アクション提案を生成するという課題に対処する。
• 境界に敏感な局所からグローバルへ繋ぐアプローチを開発し、柔軟な長さの正確な提案を生成する。
• 少数の候補で高い重なりを持つ提案を取得するための提案レベルの信頼度評価を提供する。
• 分類器と統合した場合の提案品質と下流の時間的アクション検出の改善を実証する。

提案手法

• 3段階の BSN アーキテクチャ：開始・終了・アクション性の確率を出力する時系列評価；高確率の境界を組み合わせて提案を生成する；Boundary-Sensitive Proposal (BSP) 特徴を用いた提案評価。
• 時系列位置ごとに p_s（開始）、p_e（終了）、p_a（アクション性）を出力する3層の時系列畳み込みネットワークを使用。
• 継続時間の範囲内で高い p_s と p_e の位置をペアリングして候補提案を生成し、中心部・開始部・終了部の領域で p_a をサンプリングして BSP 特徴を構築する。
• 各候補を BSP を入力として多層パーセプトロンで評価し p_conf を得て、それを境界確率と融合して最終スコア p_f を算出する。
• TEM をアクション性・開始・終了の3タスク損失で訓練；PEM を IoU ベースのターゲットで訓練して p_conf を gIoU に回帰させる；推論時に Soft-NMS を適用して冗長性を抑制。
• 最終提案は (t_s, t_e, p_f) として出力し、分析のためにオプションで p_s および p_e を含める。

実験結果

リサーチクエスチョン

• RQ1 境界中心の局所から全球へというフレームワークは、従来手法と比べて提案数が少ない状態でも高い再現率を達成できる提案を生成できるか。
• RQ2 境界確率信号（開始/終了）とアクション性を組み合わせることは、提案内の時間境界の精度を向上させるか。
• RQ3 提案レベルの BSP 特徴は、既存の分類器と組み合わせたときに信頼性の高い取得とより質の高い時間的アクション検出を実現するか。

主な発見

• BSN は ActivityNet-1.3 の検証で AR@AN および AUC が他の最先端提案法より高い。
• THUMOS14 では BSN+Greedy-NMS および BSN+Soft-NMS が複数の AN 設定で従来法を上回り、提案数が少ない場合に顕著な改善を示す（例: AR@50–@1000）。
• 未見のアクションクラスに対しても ActivityNet-1.3 で強い一般化を示し、見られたクラスに比べわずかな性能低下にとどまる。
• アブレーション実験では、TEM は単独でも効果的で、PEM は大幅な向上をもたらし、BSP 成分が補完的な改善に寄与。
• BSN 提案をアクションクラス分類器と統合すると、ActivityNet-1.3 および THUMOS14 で競争力あるいは優れた時間的アクション検出性能を示す。