[論文レビュー] The "something something" video database for learning and evaluating visual common sense

Raghav Goyal, Samira Ebrahimi Kahou+12 more|arXiv (Cornell University)|Jun 13, 2017

Multimodal Machine Learning Applications被引用数 9

ひとこと要約

本論文は、キャプションテンプレートによって定義された174のクラスにまたがる10万本の動画を含む大規模で細分化された動画データセット「something something」を紹介する。このデータセットは、深層学習モデルにおける視覚的常識の学習と評価を目的としており、行動における微細な物理的・因果的関係を理解する能力を試す。174クラスの全タスクにおいて、トップ1正解率は88.5%、トップ5正解率は70.3%を達成し、標準的なアーキテクチャにとっての難易度を示している。

ABSTRACT

Neural networks trained on datasets such as ImageNet have led to major advances in visual object classification. One obstacle that prevents networks from reasoning more deeply about complex scenes and situations, and from integrating visual knowledge with natural language, like humans do, is their lack of common sense knowledge about the physical world. Videos, unlike still images, contain a wealth of detailed information about the physical world. However, most labelled video datasets represent high-level concepts rather than detailed physical aspects about actions and scenes. In this work, we describe our ongoing collection of the "something-something" database of video prediction tasks whose solutions require a common sense understanding of the depicted situation. The database currently contains more than 100,000 videos across 174 classes, which are defined as caption-templates. We also describe the challenges in crowd-sourcing this data at scale.

研究の動機と目的

• 静止画像で学習された深層学習モデルに欠けている視覚的常識を補うために、物理的現実世界の理解に基づいた動画データセットを構築すること。
• オブジェクトの機能的特性、因果関係、物理的性質に関する推論を要する、行動と物体の相互作用における微細な違いをモデルが学習できるようにすること。
• キャプションテンプレートを用いたスケーラブルでクラウドソーシングされたデータセットを提供し、動的シーンにおける人間並みの視覚的推論の微細な側面を捉えること。
• 標準的な行動認識ベンチマークをはるかに超える視覚的常識タスクにおける深層学習モデルの性能をベンチマークすること。

提案手法

• データセットはクラウドソーシングにより構築され、作業者が『[何か] を持ち上げる』や『[何か] を注ぐ』などのキャプションテンプレートに従って動画を記録する。
• 各動画はプレースホルダー「[何か]」でラベル付けされ、プレースホルダーの真値入力は作業者から収集され、ゼロショット一般化ベンチマークを形成する。
• データセットには174の行動クラスが含まれ、10万本を超える動画が収録されており、モデルが視覚的手がかりと物理的推論に基づいて欠落した物体を推論できる能力をテストすることを目的としている。
• モデルは3D-CNN、2D-CNN、およびハイブリッド2D+3D-CNNアーキテクチャを用いて訓練・評価され、重複しないおよび重複する動画クリップから特徴量が抽出される。
• 訓練では、Sports-1Mで事前学習された3D-CNNモデルのフレームレベル特徴量を用い、『something something』データセットで微調整し、パディングされたフレームにはマスク処理が施される。
• 評価は10クラスおよび40クラスのサブセットで実施され、アブレーションスタディにより異なるネットワークアーキテクチャと特徴量統合戦略の比較が行われる。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、物体分類をはるかに超えて物理的・因果的関係を捉える視覚的常識を動画データから学習できるか？
• RQ2 オブジェクトの性質、機能的特性、運動ダイナミクスに関する理解を要する微細な行動認識タスクにおいて、モデルの性能はいかがなものか？
• RQ3 キャプションテンプレートに基づく動画データセットは、標準的な行動認識ベンチマークと比較して、ゼロショット一般化および推論能力をどの程度向上させるか？
• RQ4 アーキテクチャの選択（例：2D対3D CNN、特徴量統合）が視覚的常識タスクのパフォーマンスに与える影響は何か？

主な発見

• 174クラスの全データセットにおいて、最良の3D-CNNモデルはトップ1正解率88.5%、トップ5正解率70.3%を達成し、標準的なアーキテクチャにとっての大きな難易度を示している。
• 10クラスのサブセット実験では、単純化されたクラスでもモデルは微細な違いを処理できず、いくつかのケースでトップ2正解率が90%未満にとどまっていた。
• 40クラスのサブセットでは、より大きなトレーニングデータセットにもかかわらず、性能が著しく低下し、データセットの複雑さが顕著に表れた。
• 2D+3D-CNN特徴量統合モデルは、個別の2Dおよび3Dモデルを上回る性能を示し、空間的および時間的特徴量を組み合わせることで視覚的常識の推論が向上することを示している。
• 強力なベースラインを使用しても誤り率が依然として高く、現在のモデルが物理的因果関係や機能的特性の理解を十分に備えていないことが示唆された。
• 対照的な例とテンプレートベースのラベリングを含むデータセットの設計は、標準的な認識モデルが挑戦する微細な視覚的差異を効果的に捉えている。