[論文レビュー] Not All Words are Equal: Video-specific Information Loss for Video Captioning

Jiarong Dong, Ke Gao+4 more|arXiv (Cornell University)|Jan 1, 2019

Multimodal Machine Learning Applications参考文献 26被引用数 3

ひとこと要約

本論文は、語の重要性に基づいて交差エントロピー損失を動的にスケーリングする、情報損失（Information Loss）と呼ばれる新しい学習戦略を提案する。この戦略により、動画キャプション生成における一般的な語へのバイアスを軽減する。階層的アテンション機構とマルチレベルの視覚的特徴を組み合わせることで、最先端の性能を達成し、MSVDではCIDErが18.2%向上（87.5）、MSR-VTTでは47.7を達成した。

ABSTRACT

An ideal description for a given video should fix its gaze on salient and representative content, which is capable of distinguishing this video from others. However, the distribution of different words is unbalanced in video captioning datasets, where distinctive words for describing video-specific salient objects are far less than common words such as 'a' 'the' and 'person'. The dataset bias often results in recognition error or detail deficiency of salient but unusual objects. To address this issue, we propose a novel learning strategy called Information Loss, which focuses on the relationship between the video-specific visual content and corresponding representative words. Moreover, a framework with hierarchical visual representations and an optimized hierarchical attention mechanism is established to capture the most salient spatial-temporal visual information, which fully exploits the potential strength of the proposed learning strategy. Extensive experiments demonstrate that the ingenious guidance strategy together with the optimized architecture outperforms state-of-the-art video captioning methods on MSVD with CIDEr score 87.5, and achieves superior CIDEr score 47.7 on MSR-VTT. We also show that our Information Loss is generic which improves various models by significant margins.

研究の動機と目的

• 動画キャプションデータセットにおける語の頻度分布の不均衡を是正し、一般的な語が訓練損失を支配するのを防ぐ。
• 特徴的で動画固有のオブジェクトの認識誤りや詳細不足を軽減するため、情報量が多く希少な語に学習を集中させる。
• アーキテクチャの変更なしに、多様なモデルで性能を向上させる汎用的な訓練戦略を開発する。
• 洗練された損失関数とアテンション機構により、顕著な視覚的コンテンツに注目することで、動画キャプションの質を向上させる。

提案手法

• 語の重要性（情報の関連性と情報量の積）に基づいて再重み付けを行う動的損失関数「情報損失（Information Loss）」を提案する。
• 語の情報関連性を、語の埋め込みと動画全体の意味的表現とのコサイン類似度として計算する。
• 情報量を語の頻度の逆数として定義し、希少語に高い重みを与えることで、その識別的価値を強調する。
• フレームレベルと動画レベルの両方での視覚的特徴処理を可能にする階層的アテンション機構に情報損失を統合し、空間的・時間的表現を向上させる。
• 2層のLSTMアーキテクチャに階層的アテンションを組み合わせ、時間的・空間的領域を横断して顕著な視覚的特徴を抽出・集約する。
• 2つのハイパーパrameter（γ：関連性と情報量のバランスを制御、λ：損失重み付けの強度を制御）を最適化して損失を最適化する。

実験結果

リサーチクエスチョン

• RQ1 動画キャプションデータセットにおける語の頻度の不均衡が、希少で顕著な視覚的概念のモデル性能に与える影響は何か？
• RQ2 特徴的で情報量の多い語を優先する動的損失関数は、キャプションの質を向上させ、曖昧さを低減できるか？
• RQ3 アーキテクチャの変更なしに、情報損失が異なる動画キャプションモデルの性能をどの程度向上できるか？
• RQ4 階層的視覚的表現とアテンションは、顕著な動画コンテンツに注目するモデルの能力をどの程度向上させるか？
• RQ5 損失関数における関連性と情報量のバランスを最適化するためのハイパーパrameter（γとλ）の最適設定は何か？

主な発見

• 提案されたHA_ILモデルは、MSVDでCIDErスコア87.5を達成し、先行する最先端手法比で相対的に18.2%の向上を示した。
• MSR-VTTではCIDErスコア47.7を達成し、競合モデルよりも少ない特徴量を使用しても強力な汎化性能を示した。
• 定性的な例から、モデルが「スラムダンク」や「割れる音」のような希少な行動を正しく同定していることが示され、記述の曖昧さが顕著に低減された。
• 情報損失は汎用的である：異なるアテンション機構や特徴タイプを用いる複数のベースモデルで性能向上を実現した。
• アブレーションスタディにより、γ=2とλ=0.5が、語の重要性計算における関連性と情報量のバランスを最適に保つ最適な設定であると確認された。
• 可視化結果から、オブジェクトが小さかったり遠くにあっても、モデルが効果的に顕著な視覚的領域に注目していることが確認された。