[論文レビュー] Grounding Object Detections With Transcriptions

Yasufumi Moriya, Ramon Sanabria+2 more|arXiv (Cornell University)|Jun 13, 2019

Multimodal Machine Learning Applications参考文献 32被引用数 5

ひとこと要約

本論文では、指示動画における音声の発話文と動画フレームを時系列で同期させることで、オブジェクト検出およびビジュアルグラウンディングのアノテーションを自動的に生成する手法を提案する。時間同期された発話文を用いて実体を同定する。このアプローチは、How2およびFlickr30kデータセットで競争的な性能を示し、人為的ラベルやバウンディングボックスを用いずに、自動生成されたラベルで弱教師あり学習を行うモデルが、意味のある視覚的・言語的関係を学習できることを示している。

ABSTRACT

A vast amount of audio-visual data is available on the Internet thanks to video streaming services, to which users upload their content. However, there are difficulties in exploiting available data for supervised statistical models due to the lack of labels. Unfortunately, generating labels for such amount of data through human annotation can be expensive, time-consuming and prone to annotation errors. In this paper, we propose a method to automatically extract entity-video frame pairs from a collection of instruction videos by using speech transcriptions and videos. We conduct experiments on image recognition and visual grounding tasks on the automatically constructed entity-video frame dataset of How2. The models will be evaluated on new manually annotated portion of How2 dev5 and val set and on the Flickr30k dataset. This work constitutes a first step towards meta-algorithms capable of automatically construct task-specific training sets.

研究の動機と目的

• 実世界の動画アプリケーションにおける教師あり学習のためのラベル付き視覚データが限られているという課題に対処すること。
• 高価で誤りの多い人為的アノテーションに依存するのを減らし、発話文から自動的にオブジェクト-動画フレームペアを生成すること。
• 非スクリプト型で指示的な動画において、発話文が視覚的実体に効果的にグラウンディングできるかどうかを検証すること。
• 自動構築されたデータセットで学習したオブジェクト認識およびビジュアルグラウンディングモデルの性能を評価すること。
• 生の音声・視覚データからタスク固有のトレーニングセットを自動的に構築できるメタアルゴリズムの基盤を確立すること。

提案手法

• 指示動画内の名詞実体とそのタイムスタンプを特定するために、時間同期された自動音声認識（ASR）発話文を活用する。
• 各名詞が出現するタイミングで動画フレームを抽出し、対応する実体とペアにしてトレーニングデータを構築する。
• オブジェクト認識にVGG-16ネットワークを用い、自動生成されたデータセットで微調整する。分類戦略として1対1（ソフトマックス）および1対多（シグモイド）の両方を採用する。
• 弱教師ありビジュアルグラウンディングには、複数のインスタンス学習（MIL）および再構成に基づくアプローチを適用し、領域候補とResNet-152からの特徴埋め込みを用いる。
• 分類には交差エントロピー損失、グラウンディングにはランク付け損失を用い、深層ニューラルネットワークからの特徴表現を活用してモデルを訓練する。
• How2の手動アノテート済みdev5/valおよびFlickr30kデータセットでモデルを評価し、汎化性能と性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 人為的ラベルなしで、発話文を信頼性高く用いて正確なオブジェクト検出およびビジュアルグラウンディングのアノテーションを生成できるか？
• RQ2 音声・視覚データから自動生成されたラベルで学習した弱教師ありモデルは、オブジェクト認識およびグラウンディングタスクにおいてどの程度効果的か？
• RQ3 弱教師ありラベルのデータに対して、シグモイド活性化関数とバイナリクロスエントロピー損失を用いた1対多学習戦略は、ソフトマックスを用いた1対1学習戦略を上回るか？
• RQ4 自動生成ラベルで学習した場合、複数のインスタンス学習（MIL）は再構成に基づく手法を上回る性能を示せるか？
• RQ5 自動構築されたデータセットで学習したモデルは、Flickr30kのような他のベンチマークにどの程度一般化できるか？

主な発見

• How2データセットでは、1対多学習戦略（シグモイド活性化関数およびバイナリクロスエントロピー損失）が1対1アプローチを上回り、検証セットでMAP@20が9.54に達した。
• Flickr30kデータセットでは、マルチラベルシステムが検証セットでMAP@20が44.34に達し、シングルラベルシステムを顕著に上回った。これは、複数オブジェクトを含む画像における一般化性能の向上を示している。
• MILベースのビジュアルグラウンディングモデルは、How2 dev5セットで最高のIoU@0.5スコア9.3％を達成し、ランダムベースライン（7.6％）および再構成手法（7.9％）を上回った。これは、弱教師あり学習からの効果的な局所化が可能であることを示している。
• Flickr30kでは、MILモデルがテストセットでIoU@0.5スコア19.6％を達成し、ベースラインを一貫して上回り、本手法の他のデータセットへの移植可能性を裏付けた。
• How2およびFlickr30kの上限IoUスコアは、現在のモデルと最適性能との間には依然として大きなギャップがあることを示しており、グラウンディングアルゴリズムの改善の余地が大きいことを示唆している。
• 最新技術ではない手法を用いながらも、自動生成されたラベルで学習したモデルが有意義な性能を示した。これは、『リアルワールド』の動画から自動的にデータを構築する可能性が裏付けられたことを示している。