[論文レビュー] BMN: Boundary-Matching Network for Temporal Action Proposal Generation

Tianwei Lin, Xiao Liu+3 more|arXiv (Cornell University)|Jul 23, 2019

Human Pose and Action Recognition参考文献 35被引用数 73

ひとこと要約

BMNは境界マッチング機構を導入し、 densely distributed temporal proposals の信頼度を評価、正確な提案をエンドツーエンドで生成し、信頼できるスコアを提供することで、提案生成と検出性能を改善します。

ABSTRACT

Temporal action proposal generation is an challenging and promising task which aims to locate temporal regions in real-world videos where action or event may occur. Current bottom-up proposal generation methods can generate proposals with precise boundary, but cannot efficiently generate adequately reliable confidence scores for retrieving proposals. To address these difficulties, we introduce the Boundary-Matching (BM) mechanism to evaluate confidence scores of densely distributed proposals, which denote a proposal as a matching pair of starting and ending boundaries and combine all densely distributed BM pairs into the BM confidence map. Based on BM mechanism, we propose an effective, efficient and end-to-end proposal generation method, named Boundary-Matching Network (BMN), which generates proposals with precise temporal boundaries as well as reliable confidence scores simultaneously. The two-branches of BMN are jointly trained in an unified framework. We conduct experiments on two challenging datasets: THUMOS-14 and ActivityNet-1.3, where BMN shows significant performance improvement with remarkable efficiency and generalizability. Further, combining with existing action classifier, BMN can achieve state-of-the-art temporal action detection performance.

研究の動機と目的

• より正確な境界と信頼性の高い信頼度スコアを持つ時系列アクション提案生成の改善を動機づける。
• すべての密集提案を同時に評価する境界マッチング機構を導入する。
• 境界確率とBM信頼度マップを共同で学習するエンドツーエンドのBMNフレームワークを開発する。
• THUMOS-14およびActivityNet-1.3データセットでの効率性と有効性を示す。

提案手法

• 提案を境界開始点と境界終了点のペアとして定義し、全てのペアに対する2D BM信頼度マップを構築する。
• 開始境界と終了境界の間の特徴をサンプリングするBM層を提案し、すべての提案の文脈をエンコードするBM特徴マップを生成する。
• 2分岐のBMNアーキテクチャを用いる：Temporal Evaluation Moduleが境界確率列を出力し、Proposal Evaluation ModuleがBM信頼度マップを出力する。
• TEMとPEMを統合されたマルチタスクフレームワークで共同訓練し、境界のためのTEM損失とBM信頼度マップのためのPEM損失を用いる。
• 境界確率とBM信頼度を組み合わせて最終提案スコアを形成し、抑制のためにSoft-NMSを適用する。

実験結果

リサーチクエスチョン

• RQ1 密集分布で柔軟な期間を持つ提案に対して、境界マッチング機構は信頼性の高い信頼度スコアを提供できるか？
• RQ2 エンドツーエンドのBMNモデルは従来のボトムアップ/トップダウン手法より提案品質と効率性が優れているか？
• RQ3 BMNは見たことのないアクションカテゴリーやデータセットにどれだけ一般化できるか？
• RQ4 TEMとPEMの共同訓練は提案生成と検出性能にどのような影響を与えるか？

主な発見

• BMNはActivityNet-1.3およびTHUMOS-14で最先端手法よりも著しく優れた提案生成指標を達成する。
• ActivityNet-1.3の検証データで、アブレーション研究においてTEM+PEMを用いるとAUCが67.10%、AR@100が75.01へ改善する。
• BMNは見たことのないアクションのサブセットで小さな性能低下を示す程度で強い一般化能力を示す。
• TEMとPEMを共同訓練すると、別々に訓練した構成より再現率が高く推論も速い。
• BMNベースの提案とアクションクラスifierを組み合わせると、ActivityNet-1.3で最先端の時系列アクション検出性能を達成し、THUMOS-14でも競合的な結果を得る。