[論文レビュー] A Study on Action Detection in the Wild

Yubo Zhang, Pavel Tokmakov+2 more|arXiv (Cornell University)|Apr 29, 2019

Human Pose and Action Recognition参考文献 35被引用数 13

ひとこと要約

この論文は、AVAのような現実世界の極めて不均衡なデータセットにおけるアクション検出に取り組み、珍しいアクションには少数の例しか存在しない。本稿では、尾部クラスのパフォーマンスを公平に評価するための新しい指標であるサンプリングmAP（mSAP）を提案するとともに、まずヘッドクラスで事前学習を行い、その後ヘッドクラスとテールクラスをバランスさせたデータで線形分類器を微調整する二段階の訓練手法を提案。この手法により、ヘッドクラスのパフォーマンスを維持したまま、テールカテゴリでのmSAPが6.2%向上した。

ABSTRACT

The recent introduction of the AVA dataset for action detection has caused a renewed interest to this problem. Several approaches have been recently proposed that improved the performance. However, all of them have ignored the main difficulty of the AVA dataset - its realistic distribution of training and test examples. This dataset was collected by exhaustive annotation of human action in uncurated videos. As a result, the most common categories, such as `stand' or `sit', contain tens of thousands of examples, whereas rare ones have only dozens. In this work we study the problem of action detection in a highly-imbalanced dataset. Differently from previous work on handling long-tail category distributions, we begin by analyzing the imbalance in the test set. We demonstrate that the standard AP metric is not informative for the categories in the tail, and propose an alternative one - Sampled AP. Armed with this new measure, we study the problem of transferring representations from the data-rich head to the rare tail categories and propose a simple but effective approach.

研究の動機と目的

• 現実世界の極めて不均衡なデータセット（例：AVA）において、珍しいアクションが少数の例しか持たない状況でのアクション検出の課題に対処すること。
• テストセットの不均衡さが原因で、標準的なmAPがテールクラスのパフォーマンス評価に不適切である点を特定すること。
• 珍しいアクションカテゴリにおけるパフォーマンスを公平に反映できる、より有益な評価指標の開発。
• データ豊富なヘッドクラスの特徴を活用して、珍しいテールクラスの認識性能を向上させる効果的な転移学習戦略の提案。
• バックボーンを凍結したまま分類器のみをバランスの取れたデータセットで微調整することで、珍しいアクションのパフォーマンスが向上することの実証。

提案手法

• テストセットから複数のバランスの取れたサンプルを抽出し、それらのmAPスコアを平均化することで算出される、平均サンプリング平均適合率（mSAP）という新しい評価指標を提案。
• 二段階の訓練スキームを導入：まずI3Dバックボーンをヘッドカテゴリに限定して学習させ、強力な特徴を学習する。
• 事前学習後にI3Dバックボーンの重みを凍結し、ヘッドクラスとテールクラスを組み合わせたバランスの取れたデータセット上で、線形分類子のみを微調整。
• 両段階で確率的勾配降下法（SGD）を用いて損失を最適化。第二段階ではクラスバランスサンプリングを採用。
• 本手法の有効性を検証するため、全データセット上でエンドツーエンド訓練する手法や、モデル全体を微調整する手法と比較。
• アブレーションスタディを実施し、第二段階でのバランスの取り方や微調整戦略の選択がヘッドクラスおよびテールクラスのパフォーマンスに与える影響を分析。

実験結果

リサーチクエスチョン

• RQ1 なぜAVAデータセットにおける珍しいカテゴリのアクション検出モデルの評価に、標準的なmAPは信頼できないのか？
• RQ2 長尾データセットにおけるテールクラスのパフォーマンスを公平に評価できる、より有益な評価指標をどのように設計できるか？
• RQ3 データ豊富なヘッドカテゴリからの表現転送は、珍しいテールカテゴリの検出パフォーマンスを向上させることができるか？
• RQ4 頻度の高いアクションの一般化性能を損なわせることなく、ヘッドクラスおよびテールクラスの両方でパフォーマンスを最大化する訓練戦略は何か？
• RQ5 微調整時にバックボーンを凍結することで、ヘッドクラスのパフォーマンスを維持しつつ、テール認識性能を向上させることができるか？

主な発見

• テストセットがネガティブ例に支配されているため、標準的なmAP指標はテールカテゴリに対して誤解を招く。これは、誤検出率（FPR）がスコアに大きく影響するためである。
• 提案されたサンプリングmAP（mSAP）指標は、バランスの取れたテストサンプルを用いることで、珍しいアクションクラスにおけるモデルパフォーマンスの信頼性の高い評価を可能にする。
• ヘッドクラスで事前学習し、その後ヘッドとテールクラスをバランスさせたデータセット上で線形分類子を微調整する二段階訓練手法により、テールカテゴリのmSAPがベースライン比で6.2%向上した。
• 第二段階でI3Dバックボーンを凍結することで、ヘッドクラスのパフォーマンスを維持しつつ、テールクラスで顕著な向上を達成。エンドツーエンド微調整を上回る性能を示した。
• 第二段階でのトレーニングセットのバランスが極めて重要である。バランスが取れていないと、クラスバイアスの影響によりmSAPが18%低下する。
• 他の微調整戦略と比較して、本手法はテールクラスのmSAPを3%向上させ、その有効性と効率性を実証した。