[論文レビュー] Diagnosing Error in Temporal Action Detectors

Humam Alwassel, Fabian Caba Heilbron+2 more|arXiv (Cornell University)|Jul 27, 2018

Human Pose and Action Recognition参考文献 37被引用数 5

ひとこと要約

本論文は、単一の指標を超えて誤差タイプ、アクションインスタンスの特徴、モデルの感受性を分析する時間的アクション検出の診断ツールを導入する。時間的文脈、局所化精度、マルチインスタンス処理が主な課題であることが明らかになった。一方、アノテーター間の合意の不一致は、アクション局所化分野における進歩の主な障壁ではない。

ABSTRACT

Despite the recent progress in video understanding and the continuous rate of improvement in temporal action localization throughout the years, it is still unclear how far (or close?) we are to solving the problem. To this end, we introduce a new diagnostic tool to analyze the performance of temporal action detectors in videos and compare different methods beyond a single scalar metric. We exemplify the use of our tool by analyzing the performance of the top rewarded entries in the latest ActivityNet action localization challenge. Our analysis shows that the most impactful areas to work on are: strategies to better handle temporal context around the instances, improving the robustness w.r.t. the instance absolute and relative size, and strategies to reduce the localization errors. Moreover, our experimental analysis finds the lack of agreement among annotator is not a major roadblock to attain progress in the field. Our diagnostic tool is publicly available to keep fueling the minds of other researchers with additional insights about their algorithms.

研究の動機と目的

• 単一のスカラー指標を超えた詳細な誤差分析の欠如に対処すること。
• 体系的な診断フレームワークを用いて、最先端のアクション検出器の主な失敗モードを同定すること。
• 文脈サイズ、合意度、カバレッジなどの新しい属性に基づいて、アクションインスタンスの難易度を特徴づけること。
• 異なる誤差タイプとインスタンス特徴が検出性能に与える影響を定量的に評価することで、将来のモデル開発を支援すること。
• アノテーションとコードを含む公開診断ツールをリリースし、アクション検出アルゴリズムのより深い分析を可能にすること。

提案手法

• 著者らは、文脈サイズ、文脈距離、合意度、カバレッジ、長さ、動画内のインスタンス数の6つの新しいアクション特徴について追加のアノテーションを収集した。
• 時間的アクション検出に特化した6つの誤検出タイプに誤検出を分類し、偽陽性プロファイル分析を可能にした。
• 精度-再現率曲線と誤差影響分析を用いて、各アクション特徴に対するモデル感受性を測定した。
• 信頼度レベル（0.05 × P_N）に基づくマス検出閾値を定義し、異なるインスタンスタイプにおけるFN率を評価した。
• 特性同士の対比較（例：合意度 × 文脈サイズ）を実施し、検出が難しい組み合わせを同定した。
• アノテーション、コード、評価手法を含む診断ツールをリリースし、コミュニティ全体での分析を支援した。

実験結果

リサーチクエスチョン

• RQ1 時間的アクション検出器が行う主な誤差タイプは何か。また、異なる手法間でその特徴はどのように異なるか。
• RQ2 どのアクションインスタンス特徴が検出性能に最も顕著に影響を与えるか。
• RQ3 異なる誤差タイプは全体的なモデル性能にどのように影響を与え、どのタイプが最も深刻な影響を与えるか。
• RQ4 アノテーター間の合意の不一致は、アクション局所化分野における進歩をどの程度妨げているか。
• RQ5 どのアクション特徴の組み合わせが最も高いマス検出率を示すか。

主な発見

• 局所化誤差が、テストされたすべての検出器において性能に最も強い負の影響を与える。
• 検出器は時間的文脈、特に文脈サイズが大きい場合や文脈が時間的に分散している場合に最も感受性を示す。
• 動画内に複数のインスタンスが存在する場合、マス検出率が2倍以上に上昇し、現在の手法にとって大きな課題であることが示された。
• 低カバレッジ（XS）に加え、極めて弱い合意度（XW）または大きな文脈サイズ（6）が組み合わさると、特に検出が困難なケースとなる。
• 高合意度（XH）、小規模な文脈（0）、高カバレッジ（XL）の組み合わせは、一貫して検出が容易である。
• アノテーター間の合意の不一致は、進歩の主な障壁ではなく、アノテーションの曖昧さが存在しても性能向上が依然可能であることが示された。