[論文レビュー] RefineLoc: Iterative Refinement for Weakly-Supervised Action Localization

Alejandro Pardo, Humam Alwassel+3 more|arXiv (Cornell University)|Mar 30, 2019

Human Pose and Action Recognition被引用数 9

ひとこと要約

RefineLocは、弱教師付き時間的アクションローカライゼーションのための反復的精錬フレームワークを提案する。各学習イテレーションにおいてスニペットレベルの疑似アノテーションを生成・活用することで、ローカライゼーション精度を向上させる。以前のイテレーションからの疑似ラベルを用いて予測を精錬することで、RefineLocはTHUMOS14で最先端の性能を達成し、既存のSOTA手法を顕著に向上させ、弱教師付き動画アクションローカライゼーションにおける反復的精錬の有効性を示している。

ABSTRACT

Video action detectors are usually trained using datasets with fully-supervised temporal annotations. Building such datasets is an expensive task. To alleviate this problem, recent methods have tried to leverage weak labeling, where videos are untrimmed and only a video-level label is available. In this paper, we propose RefineLoc, a novel weakly-supervised temporal action localization method. RefineLoc uses an iterative refinement approach by estimating and training on snippet-level pseudo ground truth at every iteration. We show the benefit of this iterative approach and present an extensive analysis of five different pseudo ground truth generators. We show the effectiveness of our model on two standard action datasets, ActivityNet v1.2 and THUMOS14. RefineLoc shows competitive results with the state-of-the-art in weakly-supervised temporal localization. Additionally, our iterative refinement process is able to significantly improve the performance of two state-of-the-art methods, setting a new state-of-the-art on THUMOS14.

研究の動機と目的

• 完全にアノテートされた時間的アクションローカライゼーションデータセットの高コストを低減するため、動画レベルのラベルのみで学習可能にする。
• 時間的アノテーションが利用できない弱教師付き設定におけるローカライゼーション性能を向上させる。
• 弱教師付きと完全教師付きのアクションローカライゼーション手法の性能差を縮小する。
• さまざまなベースモデルやデータセットに適用可能な汎用的な反復的精錬戦略を開発する。

提案手法

• RefineLocは、各イテレーションで前回のモデルの予測に基づいて疑似アノテーションラベルを生成する反復的学習プロセスを採用する。
• スニペットレベルの疑似ラベルは、アテンションスコアと分類信頼度の組み合わせにより作成され、前景および背景セグメントを近似する。
• これらの疑似ラベルに基づいて、容易なサンプルに過剰適合しないようにスニペットをランダムにサンプリングしながら、教師あり学習でモデルを再訓練する。
• 5種類の異なる疑似アノテーション生成戦略を評価し、最も効果的な設定を同定する。
• 精錬プロセスはベースモデルおよび既存のSOTA手法に適用され、汎用性と性能向上を示している。
• 標準的なバックボーン（TSN、W-TALC、BaS-Netなど）と互換性があるように設計されており、即座に統合可能な改善が可能である。

実験結果

リサーチクエスチョン

• RQ1 疑似アノテーションを用いた反復的精錬が、弱教師付き時間的アクションローカライゼーションを顕著に改善できるか？
• RQ2 疑似アノテーション生成器の選択が、異なるデータセットやモデルにおけるモデル性能に与える影響はいかほどか？
• RQ3 反復的精錬プロセスは、既存の最先端手法の性能をどの程度向上させられるか？
• RQ4 反復的精錬戦略は、時間経過とともにローカライゼーション誤差を低減し、予測カバレッジを向上させるか？
• RQ5 この手法は、さまざまなバックボーンアーキテクチャや特徴抽出器に一般化可能か？

主な発見

• TSN特徴を用いたActivityNet v1.2では、RefineLocは最先端の手法と同等の性能を達成した。
• BaS-NetおよびW-TALCベースラインに適用した場合、RefineLocはTHUMOS14で新たな最先端性能を樹立し、IoU=0.3におけるmAPを45.10に達成した。
• 反復的精錬プロセスにより、背景誤検出とローカライゼーション誤差が時間経過とともに減少し、DETADの誤検出分析で示された。
• 定量的結果から、検出カバレッジが向上し、反復処理により分離された予測が統合されていることが確認された。
• 手法の汎用性は良好である：W-TALCに適用した場合、2イテレーション後にIoU=0.3におけるmAPが42.98から44.10に向上した。
• 改善が見られたが、初期分類モジュールの単純さのため、誤分類エラーがわずかに増加した。これは、ローカライゼーション精度と分類精度の間のトレードオフを示している。