[論文レビュー] Semantically Sensible Video Captioning (SSVC)

Md. Mushfiqur Rahman, Thasin Abedin+3 more|arXiv (Cornell University)|Sep 15, 2020

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、文脈生成段階におけるスタックドアテンションおよび空間的ハードプル機構を用いて意味的正確性を向上させる、新しい動画キャプションアーキテクチャSSVCを提案する。BLEUと新しい意味的妥当性（SS）指標を用いた評価により、SSVCは定量的および定性的な両面で最先端モデルを上回る性能を達成する。

ABSTRACT

Video captioning, i.e. the task of generating captions from video sequences creates a bridge between the Natural Language Processing and Computer Vision domains of computer science. Generating a semantically accurate description of a video is an arduous task. Considering the complexity of the problem, the results obtained in recent researches are quite outstanding. But still there is plenty of scope for improvement. This paper addresses this scope and proposes a novel solution. Most video captioning models comprise of two sequential/recurrent layers - one as a video-to-context encoder and the other as a context-to-caption decoder. This paper proposes a novel architecture, SSVC (Semantically Sensible Video Captioning) which modifies the context generation mechanism by using two novel approaches - stacked attention and spatial hard pull. For evaluating the proposed architecture, along with the BLEU scoring metric for quantitative analysis, we have used a human evaluation metric for qualitative analysis. This paper refers to this proposed human evaluation metric as the Semantic Sensibility (SS) scoring metric. SS score overcomes the shortcomings of common automated scoring metrics. This paper reports that the use of the aforementioned novelties improves the performance of the state-of-the-art architectures.

研究の動機と目的

• 既存の動画キャプションモデルが意味的に妥当な記述を生成する点での限界を解決すること。
• 動画から文脈へのエンコーディングプロセスを再考することで、動画キャプションにおける文脈表現を向上させること。
• BLEUのような自動指標の欠点を克服するため、人間による意味的妥当性（SS）スコア指標を導入すること。
• 文脈生成メカニズムにおける新しいアーキテクチャ的変更を通じて、最先端アーキテクチャの性能を向上させること。

提案手法

• 標準的な逐次的／再帰的層の代わりに、洗練された文脈生成メカニズムを備えた新しいアーキテクチャSSVCを提案する。
• 動画特徴における長距離依存関係および意味的関係をよりよく捉えるために、スタックドアテンションを導入する。
• 動画フレーム内の顕著な空間的領域を強調することで、アテンションマップを精緻化する空間的ハードプルを採用する。
• 二段階のプロセスを採用：まずスタックドアテンションと空間的ハードプルを用いて動画特徴を文脈表現に変換し、次に自然言語のキャプションにデコードする。
• 生成キャプションの意味的整合性および事実の正確性を評価するため、人間による評価指標「意味的妥当性（SS）」を採用する。
• 自動BLEUスコアと定性的なSSスコアの両方を用いて性能を検証し、評価の堅牢性を確保する。

実験結果

リサーチクエスチョン

• RQ1 文法的・文語的正確性を超えて、意味的に妥当な記述を生成できるように動画キャプションモデルをどのように改善できるか？
• RQ2 スタックドアテンションと空間的ハードプルは、動画キャプションにおける文脈表現をどの程度向上させるか？
• RQ3 人間による意味的妥当性（SS）指標は、BLEUのような自動指標よりも意味的正確性を効果的に捉えられるか？
• RQ4 提案されたSSVCアーキテクチャは、定量的および定性的な両面で最先端モデルと比較してどのように差をつけるか？
• RQ5 文脈生成段階におけるアーキテクチャ的変更が、全体のキャプション品質に与える影響は何か？

主な発見

• 提案されたSSVCアーキテクチャは、BLEUスコアおよび定性的な評価の両面で、最先端モデルを上回る性能を達成した。
• 意味的妥当性（SS）指標は、意味的正確性と整合性を効果的に捉えており、キャプション品質の評価において自動指標を上回った。
• スタックドアテンションは、動画シーケンスにおける複雑な時間的および意味的依存関係をモデル化する能力を向上させた。
• 空間的ハードプルはアテンションの局所化を改善し、より正確で文脈的に関連性のある特徴選択を可能にした。
• スタックドアテンションと空間的ハードプルの組み合わせにより、人間評価で確認されたように、より意味的に妥当なキャプションが得られた。
• 結果から、標準的な再帰モデルを超えて、文脈生成段階におけるアーキテクチャ的イノベーションがキャプション品質を顕著に向上させることを示した。