[論文レビュー] Assembly101: A Large-Scale Multi-View Video Dataset for Understanding Procedural Activities

Fadime Şener, Dibyadip Chatterjee+5 more|arXiv (Cornell University)|Mar 28, 2022

Human Pose and Action Recognition被引用数 4

ひとこと要約

Assembly101 は、8つの静的視点と4つのエゴセントリック視点から、101種類の分解式おもちゃの車両を1人の人物が組み立て・分解する様子を捉えた大規模なマルチビュー動画データセットである。全4321のシーケンスを含み、100万を超える詳細な行動セグメント、1800万個の3次元手のポーズを含む。また、新たなミス検出タスクを導入し、行動認識、予測、時系列セグメンテーション、およびおもちゃ、視点、熟練度の面での一般化性能のベンチマークが可能となり、マルチビュー融合によって顕著な性能向上が達成された。

ABSTRACT

Assembly101 is a new procedural activity dataset featuring 4321 videos of people assembling and disassembling 101 "take-apart" toy vehicles. Participants work without fixed instructions, and the sequences feature rich and natural variations in action ordering, mistakes, and corrections. Assembly101 is the first multi-view action dataset, with simultaneous static (8) and egocentric (4) recordings. Sequences are annotated with more than 100K coarse and 1M fine-grained action segments, and 18M 3D hand poses. We benchmark on three action understanding tasks: recognition, anticipation and temporal segmentation. Additionally, we propose a novel task of detecting mistakes. The unique recording format and rich set of annotations allow us to investigate generalization to new toys, cross-view transfer, long-tailed distributions, and pose vs. appearance. We envision that Assembly101 will serve as a new challenge to investigate various activity understanding problems.

研究の動機と目的

• キッチン領域外の自然な目的志向型手順的活動を対象とした大規模なマルチビュー動画データセットの構築。
• 現実世界の組み立て・分解作業における行動順序の多様性、ミス、是正行動の豊富な変異を捉えること。
• 行動認識、予測、時系列セグメンテーション、および新たなミス検出タスクにおけるベンチマークの実現。
• 視点間一般化、長尾分布へのロバストネス、ポーズと外観の理解の面での研究支援。
• 3次元的ハンドオブジェクト相互作用の理解を高めるために、同期化された静的視点とエゴセントリック視点の両方を提供。

提案手法

• 101種類の玩具の車両を、8台の静的カメラと4台のエゴセントリックカメラを用いて、参加者が組み立て・分解する様子を同期されたマルチビュー映像として収録。
• 各シーケンスには、1380種類の詳細な行動クラスと202種類の粗い行動クラス、10万件を超える粗い行動セグメントと100万件を超える詳細な行動セグメント、および1800万個の3次元手のポーズがアノテーションされている。
• 行動認識と予測のため、MS-TCN++ や C2F-TCN といったモデルを、クラスウェイトを適用したフレーム単位の交差エントロピー損失と平均二乗誤差損失を用いて学習。
• ミス検出のため、60秒のコンテキスト窓とマルチスケール時系列集約を用いた変更版の TempAgg モデルが使用された。
• マルチビュー融合は、固定視点とエゴセントリック視点のスコアを平均プーリングすることで実装され、認識と予測性能の向上に寄与した。
• 学習パイプラインには TSM 特徴量を用い、Adam 最適化、学習率の徐々な減少、ドロップアウトを適用することで、クラス不均衡へのロバストネスを向上させた。

実験結果

リサーチクエスチョン

• RQ1 同期化された静的視点とエゴセントリック視点からのマルチビュー監視は、行動認識と予測性能にどのように寄与するか？
• RQ2 モデルは、特に行動クラスの長尾分布下でも、未観測のおもちゃカテゴリにどれほど一般化できるか？
• RQ3 自由なスタイルの手順的活動において、モデルはミスと是正行動を効果的に検出できるか？
• RQ4 手順的タスクにおけるハンドオブジェクト相互作用の理解において、ポーズベース特徴と外観ベース特徴はどのように比較されるか？
• RQ5 熟練度や行動順序の変動が、手順的活動理解におけるモデル性能に与える影響は何か？

主な発見

• マルチビュー融合により、細分化された行動認識のTop-5正確度が71.6%（Fusion）に向上し、全体の58.5%（Overall）を大幅に上回った。
• 最高性能を示したモデルは、固定視点で88.5%のTop-5正確度、エゴセントリック視点で82.7%の正確度を達成し、融合により88.5%まで向上した。
• 60秒のコンテキスト窓とマルチスケール集約を用いた TempAgg を用いたミス検出は、誤りと是正のクラスにおける再現率を向上させ、効果的にモデル化された。
• 「トランスポート」おもちゃカテゴリは、22名の参加者が記録した高密度データのおかげで、最高の認識正確度（91.2% Top-5）を記録した。
• 「ピックアップ」や「ダウン・プレース」などの動詞は高い認識再現率を示したが、「アタック・トゥ」系の動詞は最低の再現率を示し、意図のモデル化に課題があることが示唆された。
• 粗い行動認識では、「デモ」、「アタッチ」、「デタッチ」が最も高い再現率を示したが、「ポジショニング」、「リムーブ」、「スクリューブル・トゥ」系の動詞は最も困難なクラスであった。