[論文レビュー] Describing Common Human Visual Actions in Images

Matteo Ruggero Ronchi, Pietro Perona|arXiv (Cornell University)|Jun 7, 2015

Multimodal Machine Learning Applications参考文献 15被引用数 23

ひとこと要約

本論文は、VerbNetの言語的分析と画像キャプションを用いてMS COCOから抽出した、140の視覚的に検出可能な人間の行動から成る大規模でデータ駆動型のデータセット、COCO-aを紹介する。本データセットは、被験者、対象、行動、ポーズ、感情、空間的関係を包括的かつ局所的にアノテートしており、視覚的シーン理解、行動認識、画像検索システムのための強固なトレーニングおよびベンチマークを可能にする。

ABSTRACT

Which common human actions and interactions are recognizable in monocular still images? Which involve objects and/or other people? How many is a person performing at a time? We address these questions by exploring the actions and interactions that are detectable in the images of the MS COCO dataset. We make two main contributions. First, a list of 140 common `visual actions', obtained by analyzing the largest on-line verb lexicon currently available for English (VerbNet) and human sentences used to describe images in MS COCO. Second, a complete set of annotations for those `visual actions', composed of subject-object and associated verb, which we call COCO-a (a for `actions'). COCO-a is larger than existing action datasets in terms of number of actions and instances of these actions, and is unique because it is data-driven, rather than experimenter-biased. Other unique features are that it is exhaustive, and that all subjects and objects are localized. A statistical analysis of the accuracy of our annotations and of each action, interaction and subject-object combination is provided.

研究の動機と目的

• 日常の画像において、研究者によるバイアスに依存しない、一般的で視覚的に区別可能な人間の行動を特定・分類すること。
• MS COCOデータセットにおける行動、被験者、対象の包括的かつ完全で局所的なアノテーションセットを構築すること。
• 視覚的シーン理解システム（視覚的質問応答や画像検索を含む）のトレーニングと評価を支援するベンチマークデータセットを提供すること。
• 現実世界のデータを用いて、シーン理解における意味的ネットワーク表現に関する議論を実証的に裏付けること。
• 静止画像における人間の行動および相互作用の頻度、空間的関係、文脈的手がかりを調査すること。

提案手法

• VerbNetという最大規模の英語動詞語彙と、MS COCOのヒューマンアノテートキャプションを分析することで、140の一般的で視覚的に検出可能な行動を特定したVisual VerbNet (VVN) を構築した。
• MS COCOの10,000枚の画像を、被験者・対象・行動の三つ組みに加え、ポーズ、感情、空間的関係（距離、相対的位置）を含めてアノテートした。
• 事前に定義された行動リストではなく、実際の画像記述から導出されたことにより、データ駆動型でバイアスのないアノテーションを確保した。
• 元のMS COCOデータセットに含まれるピクセル単位のセグメンテーションマスクを用いて、被験者および対象を局所化した。
• 統計的分析を用いて、行動、相互作用、被験者-対象ペアごとのアノテーションの正確性と頻度分布を評価した。
• 「泣く」と「シンク」のようなレアな組み合わせ（例：'cry' + 'sink'）を複雑なクエリとして扱えるようにし、検索および学習における表現力と実用性をテストした。

実験結果

リサーチクエスチョン

• RQ1 モノクロームの静止画像において、視覚的に検出可能な一般的な人間の行動および相互作用は何か？
• RQ2 現実世界のシーンにおいて、行動、ポーズ、空間的関係の頻度と分布はどのようになっているか？
• RQ3 人間、対象、相互作用を含む視覚的行動は、空間的接近度、ポーズ、感情的文脈においてどのように異なるか？
• RQ4 画像キャプションおよび動詞語彙の言語的分析は、包括的かつバイアスのない視覚的行動のセットを特定するのにどの程度有効か？
• RQ5 完全にアノテートされ、データ駆動型のデータセットは、視覚的シーン理解システムの性能と一般化能力を向上させることができるか？

主な発見

• 言語的およびデータ駆動型分析を通じて、140の一般的で視覚的に区別可能な人間の行動を同定し、Visual VerbNet (VVN) 分類法を構築した。
• COCO-aデータセットには10,000枚の画像が含まれており、被験者、対象、行動、ポーズ、感情、空間的関係を包括的にアノテートしており、既存の行動データセットよりも大規模かつ包括的である。
• 人々は一般的に「同じグループにいる」「同伴する」「ポーズをとる」などの行動を通じて他者と相互作用し、通常は近距離で、前後または横並びの位置にいる。
• 「触れる」行動は、他の人間、着用可能なアイテム、または被験者に対して前方または下方に位置する対象物に対して最も頻繁に実行され、高い空間的接近度と完全または軽い接触を示す。
• 「戦う」と「上に」や「泣く」と「シンク」のようなレアな組み合わせが成功裏に検索可能であり、本データセットが複雑な画像検索およびゼロショット学習における実用性を示している。
• 統計的分析により、高いアノテーション正確性が確認され、行動「立つ」「座る」「歩く」が最も頻度が高く、逆に「ひざまずく」「うつぶせになる」などのレアな行動は不足していることが判明し、データ拡張が必要となる可能性がある。