[論文レビュー] An Evaluation of Action Recognition Models on EPIC-Kitchens

Will Price, Dima Damen|arXiv (Cornell University)|Aug 2, 2019

Human Pose and Action Recognition参考文献 13被引用数 15

ひとこと要約

本論文は、エゴセントリックな EPIC-Kitchens データセット上で、TSN、TRN、TSM の3つのアクション認識モデルを評価しており、時間的モデリングを備えたモデル（TSM および M-TRN）が、時間的推論機能を欠く TSN よりも顕著に優れていることを示している。主な貢献は、長尾クラス分布や未観測のキッチンにおけるドメインシフトといった課題を強調する、事前学習済みモデルとベンチマーク結果の公開である。

ABSTRACT

We benchmark contemporary action recognition models (TSN, TRN, and TSM) on the recently introduced EPIC-Kitchens dataset and release pretrained models on GitHub (https://github.com/epic-kitchens/action-models) for others to build upon. In contrast to popular action recognition datasets like Kinetics, Something-Something, UCF101, and HMDB51, EPIC-Kitchens is shot from an egocentric perspective and captures daily actions in-situ. In this report, we aim to understand how well these models can tackle the challenges present in this dataset, such as its long tail class distribution, unseen environment test set, and multiple tasks (verb, noun and, action classification). We discuss the models' shortcomings and avenues for future research.

研究の動機と目的

• 最先端のアクション認識モデル（TSN、TRN、TSM）をエゴセントリックな EPIC-Kitchens データセット上で評価すること。
• 長尾クラス分布、ドメインシフト（既知のキッチン vs. 未知のキッチン）、入力モダリティ（RGB とフロー）がモデル性能に与える影響を調査すること。
• 時間的モデリング、バックボーン選択、時間的サポート（セグメント数）が認識精度に与える影響を評価すること。
• アクションプライア（動詞名詞の共起）が、特に未知の環境においてアクション分類の性能を向上させるかを評価すること。
• 再現性およびベンチマークのため、EPIC-Kitchens ランキング・リーダーボードを通じて、事前学習済みモデルとテスト予測を公開すること。

提案手法

• モデルは、8セグメントサンプリングを用いた統一された訓練・評価フレームワーク下で学習・評価される：各動画クリップが8等分に分割され、各セグメントから1つのスニペットが抽出される。
• TSN は、2次元畳み込みニューラルネットワーク（2D CNN）バックボーンから得られるセグメントレベルのスコアを平均または最大プーリングすることで処理し、セグメント間の時間的モデリングを欠いている。
• TRN は、順序に敏感な関係性モジュールを用いてセグメントレベルの特徴を処理し、単一スケールおよびマルチスケールの変種（M-TRN）を備えており、セグメント間の関係を捉える。
• TSM は、2D CNN バックボーンのフィルタ応答を時間方向にずらすことで、ネットワーク内での時間的モデリングを可能にする。
• 性能は、3つのタスク（動詞分類、名詞分類、アクション分類＝動詞＋名詞ペア）におけるトップ-1およびトップ-5精度を用いて評価される。
• アクションプライアは、ラプラス平滑化を施した共起統計を用いて予測を再重み付けすることで適用され、特に未知のキッチンにおけるゼロショット一般化性能の向上が見られた。

実験結果

リサーチクエスチョン

• RQ1 TSN、TRN、TSM は、EPIC-Kitchens データセット上で、動詞、名詞、アクション分類タスクのトップ-1およびトップ-5精度において、それぞれどのように性能を発揮するか？
• RQ2 TRN や TSM による時間的モデリングは、時間的推論機能を欠く TSN よりもどの程度性能を向上させるか？
• RQ3 モデル性能は、既知のキッチンセットと比較して、未知のキッチンテストセットでどの程度低下するか？ その要因は何か？
• RQ4 入力モダリティ（RGB 対 フロー）および時間的サポート（セグメント数）が認識精度に与える影響は何か？
• RQ5 アクションプライア（動詞・名詞の共起）を組み込むことで、性能が向上するか、特に未知のキッチンスプリットにおいて顕著に改善されるか？

主な発見

• TSM および M-TRN は、すべてのタスクで TSN を上回り、M-TRN は既知のキッチンでのアクションタスクでトップ-1精度 4.75%、未知のキッチンでは 2.39% を達成した。
• TSN は、セグメント間のスコアを平均化するため、『置く』や『取る』といった時間的順序が重要な微細なアクションを区別できず、性能に悪影響を及ける。
• フローモデルは、時間的サポートの増加（最大16セグメント）によりより大きな利益を得るが、RGB モデルは8セグメントで飽和し、TSM では16セグメントで性能が低下する場合がある。
• アクションプライアは、M-TRN に RGB モダリティを適用した場合、未知のキッチンテストセットでトップ-1精度を最大で2.80ポイント向上させ、ゼロショット一般化性能の向上が示された。
• すべてのモデルが、未知のキッチンテストセットで顕著な性能低下を示しており、エゴセントリックアクション認識におけるドメインシフトの課題が浮き彫りになった。
• RGB モダリティを用いた TSM モデルは、既知のキッチンでアクションタスクのトップ-1精度が 4.70%、未知のキッチンでは 2.39% を記録し、未知のセットでアクションプライアを適用することで 0.82% の向上が得られた。