[論文レビュー] Toyota Smarthome Untrimmed: Real-World Untrimmed Videos for Activity Detection

Rui Dai, Srijan Das+5 more|arXiv (Cornell University)|Oct 28, 2020

Context-Aware Activity Recognition Systems被引用数 8

ひとこと要約

本稿では、高時間的ばらつき、マルチビュー記録、および基礎的・複合的アクティビティにわたる高密度アノテーションを特徴とする、自然な日常行動を含む未トリムド動画データセット「Toyota Smarthome Untrimmed (TSU)」を紹介する。変動する継続時間や低フレームレートのカメラ撮影といった課題に対処するため、オプティカルフローを用いてRGB特徴学習をガイドするマルチモodalitiyアテンションベースラインを提案し、TSUおよびCharadesの両データセットで最先端性能を達成した。

ABSTRACT

Designing activity detection systems that can be successfully deployed in daily-living environments requires datasets that pose the challenges typical of real-world scenarios. In this paper, we introduce a new untrimmed daily-living dataset that features several real-world challenges: Toyota Smarthome Untrimmed (TSU). TSU contains a wide variety of activities performed in a spontaneous manner. The dataset contains dense annotations including elementary, composite activities and activities involving interactions with objects. We provide an analysis of the real-world challenges featured by our dataset, highlighting the open issues for detection algorithms. We show that current state-of-the-art methods fail to achieve satisfactory performance on the TSU dataset. Therefore, we propose a new baseline method for activity detection to tackle the novel challenges provided by our dataset. This method leverages one modality (i.e. optic flow) to generate the attention weights to guide another modality (i.e RGB) to better detect the activity boundaries. This is particularly beneficial to detect activities characterized by high temporal variance. We show that the method we propose outperforms state-of-the-art methods on TSU and on another popular challenging dataset, Charades.

研究の動機と目的

• 高齢者ケア環境における日常的行動の自然さと複雑さを反映する、現実的で未トリムドの動画データセットが不足しているという問題を解決すること。
• スクリプト化された行動、短い継続時間、固定されたカメラフレーミング、高密度アノテーションの欠如といった既存データセットの限界を克服し、より現実的で多様なベンチマークを構築すること。
• 高時間的ばらつき、マルチビューの変動、背景/前景の混同といった現実世界の課題を効果的に処理できる堅牢なベースライン手法を開発すること。
• 提案手法が新規のTSUデータセットおよび確立されたCharadesデータセットの両方で有効であることを実証し、一般化能力およびスケーラビリティを検証すること。

提案手法

• 提案手法は、オプティカルフローをモダリティとして用い、RGBモダリティにおける特徴学習をガイドするアテンション重みを生成することで、時間的境界検出の精度を向上させる。
• 継続時間が著しく異なるアクティビティに対応するため、マルチタイムスケールアテンション機構を導入し、短時間（例：2–3秒）および長時間（例：5–10分）のアクティビティの両方を検出可能にする。
• 被写体が中央にない、または部分的遮蔽がある低フレームレートのカメラ撮影問題を軽減するため、人間のクロップに基づく特徴抽出を適用する。
• マルチビュー環境では、3次元スケルトンデータを活用して、視点変化に対する耐性を向上させる。
• アテンション機構を時間的畳み込みネットワーク（SD-TCN）に統合し、多様な時間スケールにおける特徴表現を強化する。
• モデルはRGBおよびオプティカルフロー入力を用いて学習され、将来的にはRGBのみを用いた推論により、現実世界への実装可能性を高める。

実験結果

リサーチクエスチョン

• RQ1 自然な行動、高い時間的ばらつき、マルチビュー記録といった現実世界の課題が、既存のアクティビティ検出モデルの性能にどのように影響を与えるか？
• RQ2 豊富で自然主義的な人間行動を有する未トリムド動画データセットにおいて、現在の最先端手法がどの程度失敗するのか？
• RQ3 オプティカルフローを活用してRGB特徴をガイドするモダリティアテンション機構は、複雑な現実世界環境における検出精度を向上させることができるか？
• RQ4 提案手法は、新規のTSUデータセットおよび確立されたCharadesデータセットの両方でどの程度有効であるか。これは、一般化能力を示唆する。
• RQ5 マルチタイムスケールモデリングは、継続時間が著しく異なるアクティビティの検出に果たす役割は何か？

主な発見

• 提案手法は、RGB + フローを用いる場合、TSUデータセットでSOTAを0.6%上回るmAPを達成した。
• Charadesデータセットでは22.3%のmAPを達成し、以前のSOTA（I3D + 3 TGMs + Super event）を上回り、新ベンチマークを超える有効性を確認した。
• データセットは、アクティビティ継続時間に顕著なクラス内ばらつきを示しており、2秒から10分以上にわたる範囲に及ぶことが判明し、時間的境界検出の難易度を浮き彫りにした。
• 現在のSOTA手法はTSUで著しく性能を発揮しないことから、既存モデルが自然な行動やマルチビュー記録といった現実世界のばらつきに対して頑健でないことが示された。
• アテンション機構は、高時間的ばらつきを示すアクティビティ、特に短時間または不規則な継続時間のものに対する検出を顕著に向上させた。
• オプティカルフローを用いてアテンションマスクを生成することで、微細な動きや低コントラストの動きが特徴抽出に効果的に寄与した。