[論文レビュー] The EPIC-KITCHENS Dataset: Collection, Challenges and Baselines

Dima Damen, Hazel Doughty+9 more|arXiv (Cornell University)|Apr 29, 2020

Human Pose and Action Recognition参考文献 11被引用数 7

ひとこと要約

本論文は、4か国で32名の参加者が記録した自然で非脚本的なキッチン活動を含む、55時間にわたる大規模なエゴセントリック動画データセットEPIC-KITCHENSを紹介する。行動セグメントは39,600個、物体バウンディングボックスは454,158個の密度的なアノテーションが付与されている。このデータセットにより、マルチモーダルな行動認識および予測のベンチマークが可能となり、明示的な時系列モデリングと音声・視覚融合が、『ひらく』と『しめる』のような微細なエゴセントリック行動の識別において顕著な性能向上をもたらすことが示された。

ABSTRACT

Since its introduction in 2018, EPIC-KITCHENS has attracted attention as the largest egocentric video benchmark, offering a unique viewpoint on people's interaction with objects, their attention, and even intention. In this paper, we detail how this large-scale dataset was captured by 32 participants in their native kitchen environments, and densely annotated with actions and object interactions. Our videos depict nonscripted daily activities, as recording is started every time a participant entered their kitchen. Recording took place in 4 countries by participants belonging to 10 different nationalities, resulting in highly diverse kitchen habits and cooking styles. Our dataset features 55 hours of video consisting of 11.5M frames, which we densely labelled for a total of 39.6K action segments and 454.2K object bounding boxes. Our annotation is unique in that we had the participants narrate their own videos after recording, thus reflecting true intention, and we crowd-sourced ground-truths based on these. We describe our object, action and. anticipation challenges, and evaluate several baselines over two test splits, seen and unseen kitchens. We introduce new baselines that highlight the multimodal nature of the dataset and the importance of explicit temporal modelling to discriminate fine-grained actions e.g. 'closing a tap' from 'opening' it up.

研究の動機と目的

• 自然で非脚本的な日常的なキッチン活動を、多様な文化的および環境的文脈を反映して捉えた大規模かつ現実的なエゴセントリック動画データセットの構築。
• 音声、動画、時系列推論を用いたエゴセントリック行動認識および予測のためのマルチモーダルベンチマークの開発。
• 参加者によるナレーションに基づく密度的なアノテーションを提供し、行動および物体の相互作用のラベル付けに真の意図を反映させ、現実性と正確性を向上。
• エゴセントリック動画における行動認識、物体検出、行動予測のためのオープンチャレンジおよびベースラインの確立。テストスプリットを用いて、見たことのあるキッチンと見なかったキッチンの両方をカバー。
• 複雑でマルチタスクなエゴセントリック状況における微細な行動識別および時系列モデリングに関する研究を可能にする。

提案手法

• 32名の参加者が10の国籍と4か国にわたり、自宅のキッチンで脚本なしにすべてのキッチン活動を記録した。
• 参加者は録画後に行動をナレーションし、これらのナレーションをクラウドソーシングを用いて、真の行動セグメントアノテーションの生成に使用した。
• 各動画は、39,600個の行動セグメントと454,158個の物体バウンディングボックスについて、開始・終了時刻が密度的にアノテートされた。これは現実世界の相互作用のダイナミクスを反映している。
• RGB動画、オプティカルフロー、音声ストリームを含む。音声は256×256のログスペクトログラムに変換され、マルチモーダルモデリングに使用された。
• ベースラインは、マルチモーダルモデル（RGB、フロー、音声）を用い、後段融合を採用。行動予測にはTSN、TRN、2SCNN、DMR、EDなどのアーキテクチャを用いた。
• 時系列モデリングは、TSN（3セグメント）やED（16フレームの観測）といった手法により強調された。DMRは画像ベースの予測のための2段階訓練手順を採用した。

実験結果

リサーチクエスチョン

• RQ1 『ひらく』と『しめる』のような微細なエゴセントリック行動の識別において、明示的な時系列モデリングが性能にどのように寄与するか？
• RQ2 RGB、フロー、音声といったマルチモーダル入力は、単一モーダルアプローチと比較して、エゴセントリック動画における行動認識および予測にどの程度向上効果をもたらすか？
• RQ3 EPIC-KITCHENSで学習したモデルは、見未曾知のキッチン環境へどの程度一般化可能か？また、見たことのある環境と見未曾知の環境との間で性能ギャップはどの程度存在するか？
• RQ4 参加者によるナレーションアノテーションは、従来の手動ラベリングと比較して、より正確で意図に即した行動ラベルを提供できるか？
• RQ5 短時間または曖昧な行動において、音声モダリティがエゴセントリック環境における行動予測および認識に及ぼす影響は何か？特に、音声のログスペクトログラム（256×256）が視覚特徴と組み合わさった場合の効果は？

主な発見

• EPIC-KITCHENSデータセットには55時間の動画、1,150万フレーム、39,600個の行動セグメント、454,158個の物体バウンディングボックスが含まれており、多様な現実世界のキッチン環境で収集された。
• ベースラインの結果から、RGB、オプティカルフロー、音声のマルチモーダル統合が、単一モーダルモデルと比較して行動認識の正確性を顕著に向上させていることが示された。
• TSN や TRN で実装された明示的な時系列モデリングは、単純な時系列プーリングを上回り、特に『そそぐ』と『かき混ぜる』のような微細な行動の識別において顕著な性能向上を示した。
• 見たことのあるキッチンで学習したモデルは、見未曾知のキッチンで学習したモデルよりも高い性能を示しており、エゴセントリック行動認識におけるドメイン一般化の課題が浮き彫りになった。
• 音声のログスペクトログラム（256×256）を用いることで、短時間または曖昧な行動の識別が向上し、視覚特徴と組み合わせることで特に顕著な効果が得られた。
• DMR および ED のベースラインは、観測ウィンドウを延長（例：4秒）し、マルチモーダル特徴の統合を図ることで、予測性能が向上することを示した。特に初期予測状況において顕著な改善が見られた。