[論文レビュー] Video Description: A Survey of Methods, Datasets and Evaluation Metrics

Nayyer Aafaq, Ajmal Mian+3 more|UWA Profiles and Research Repository (UWA)|Jun 1, 2018

Multimodal Machine Learning Applications参考文献 38被引用数 95

ひとこと要約

動画説明研究の包括的なサーベイで、古典的、統計的、深層学習手法を辿り、データセットと評価指標を比較し、課題と今後の方向性を論じる。

ABSTRACT

Video description is the automatic generation of natural language sentences that describe the contents of a given video. It has applications in human-robot interaction, helping the visually impaired and video subtitling. The past few years have seen a surge of research in this area due to the unprecedented success of deep learning in computer vision and natural language processing. Numerous methods, datasets and evaluation metrics have been proposed in the literature, calling the need for a comprehensive survey to focus research efforts in this flourishing new direction. This paper fills the gap by surveying the state of the art approaches with a focus on deep learning models; comparing benchmark datasets in terms of their domains, number of classes, and repository size; and identifying the pros and cons of various evaluation metrics like SPICE, CIDEr, ROUGE, BLEU, METEOR, and WMD. Classical video description approaches combined subject, object and verb detection with template based language models to generate sentences. However, the release of large datasets revealed that these methods can not cope with the diversity in unconstrained open domain videos. Classical approaches were followed by a very short era of statistical methods which were soon replaced with deep learning, the current state of the art in video description. Our survey shows that despite the fast-paced developments, video description research is still in its infancy due to the following reasons. Analysis of video description models is challenging because it is difficult to ascertain the contributions, towards accuracy or errors, of the visual features and the adopted language model in the final description. Existing datasets neither contain adequate visual diversity nor complexity of linguistic structures. Finally, current evaluation metrics ...

研究の動機と目的

• 古典的なものから深層学習まで、動画説明手法の進化を調査する。
• ドメイン、規模、多様性の観点でベンチマークデータセットを比較する。
• 評価指標と人間の判断との相関を分析する。
• データセットと指標の現状の制約を特定し、今後の研究方向を提案する。

提案手法

• 動画説明手法を classical SVO/template-based、統計的、および深層学習アプローチに分類する。
• CNN-LSTM/GRUエンコーダ、アテンション、意味属性などのアーキテクチャの傾向を説明する。
• データセットの特徴と、大規模なオープンドメインデータセットが手法開発を促進する方法を論じる。
• 評価指標（BLEU, ROUGE, METEOR, CIDEr, SPICE, WMD）とそれらと人間の判断の整合性をレビューする。

実験結果

リサーチクエスチョン

• RQ1 動画説明の進化における主な方法論的段階とその限界は何か？
• RQ2 ベンチマークデータセットは、動画説明の内容、複雑さ、規模の点でどう異なるか？
• RQ3 動画説明の現行評価指標の長所と短所は何か？
• RQ4 データセットの多様性と人間の判断への指標の整合性を改善する将来の方向性は何か？

主な発見

• 動画説明は、テンプレートベースから大規模なマルチモーダルデータセットに支えられた深層学習手法へと進化した。
• オープンドメインで長尺の動画は、初期手法が扱えなかった語彙と語用上の複雑さを露呈する。
• 評価指標は測定する内容が異なり、多くの場合人間の判断と完全には一致しない。
• BLEU、METEOR、ROUGE、CIDEr、SPICE、and WMD のような現在の指標は、説明品質の異なる側面をカバーしており、不安定性の問題を抱える。