[論文レビュー] Multi-modal Ensemble Models for Predicting Video Memorability

Tony Z. Zhao, Irving Fang+2 more|arXiv (Cornell University)|Feb 1, 2021

Image Enhancement Techniques参考文献 13被引用数 13

ひとこと要約

本稿では、音声、視覚、テキスト特徴を用いた動画の記憶可能性を予測するためのマルチモーダルアンサンブルモデルを提案する。実験の結果、VGGishから得られる音声埋め込み表現が短期記憶可能性予測において他のモダリティを顕著に上回り、高い汎化性能と最小の分散を示した。一方、中央値集約と重み付き平均化を用いたアンサンブル手法により、小規模データセット上でのモデルの頑健性が向上した。

ABSTRACT

Modeling media memorability has been a consistent challenge in the field of machine learning. The Predicting Media Memorability task in MediaEval2020 is the latest benchmark among similar challenges addressing this topic. Building upon techniques developed in previous iterations of the challenge, we developed ensemble methods with the use of extracted video, image, text, and audio features. Critically, in this work we introduce and demonstrate the efficacy and high generalizability of extracted audio embeddings as a feature for the task of predicting media memorability.

研究の動機と目的

• マルチモーダル特徴を用いて、動画の記憶可能性（短期および長期）の予測を改善すること。
• 視覚的およびテキスト的特徴と比較して、特にVGGishを用いた音声埋め込み表現の有効性を調査すること。
• 小規模データセットにおける高い分散と過学習の問題に対処するため、頑健なアンサンブル戦略を考案すること。
• 特徴集約手法（例：中央値 vs. 平均）がモデル性能に与える影響を評価すること。
• 記憶可能性予測におけるアンサンブルモデリングの最適なモダリティの組み合わせを特定すること。

提案手法

• AudioSetで事前学習されたモデルを用い、動画の音声を1秒ごとに128次元のVGGish音声埋め込み表現に抽出した。
• 均等に間隔を空けた8枚の動画フレームから、事前学習済みResNet-152の直前層を用いて2048次元の画像特徴を抽出した。
• 動画レベルの3次元畳み込み特徴にはC3Dを、テキスト特徴には人間がアノテートしたキャプションからGloVe埋め込み表現を用いた。
• 高次元特徴ベクトルのため、各モダリティの特徴に対して個別にSVR、ベイジアンリッジ、GRUを訓練した。
• 1動画あたり複数のキャプションに基づく予測に対して中央値集約を適用し、特徴が存在しない場合にはデフォルトで平均値を用いた。
• 5分割交差検証を用いて、上位性能を示したモデル（VGGish, ResNet152, C3D, GloVe）の重み付きアンサンブル組み合わせについてグリッドサーチを実施した。

実験結果

リサーチクエスチョン

• RQ1 視覚的およびテキスト的特徴と比較して、特にVGGishを用いた音声埋め込み表現は、動画記憶可能性予測においてどの程度有効であるか？
• RQ2 複数のキャプションに基づく予測に対して中央値集約を適用することで、平均値や最大値集約と比較して記憶可能性予測性能が向上するか？
• RQ3 複数のモダリティを組み合わせたアンサンブルモデルは、小規模な記憶可能性データセットにおいて単一モダリティモデルを上回る性能を示せるか？
• RQ4 なぜVGGishは短期記憶可能性に対して優れているが、長期記憶可能性では劣るのか？この現象は特徴の汎化性について何を示唆しているか？
• RQ5 データセットのサイズとアノテーション品質は、モデルの汎化性能およびテスト性能にどの程度影響を及ぼすか？

主な発見

• VGGish音声埋め込み表現は、短期記憶可能性予測において平均スピアマン順位相関係数（SRCC）が0.246で最高を記録し、分散が0.017と最小であった。これは、優れた汎化性能を示している。
• 長期記憶可能性予測においては、VGGishは低分散を維持しながらも、平均SRCCが0.059と低く、モダリティ固有の制限が顕在化した。
• 中央値集約戦略は、平均値、最大値、最小値の集約手法を上回り、特に安定性と性能向上に寄与した。
• 最終的なアンサンブルモデルは、短期記憶可能性予測でテストSRCCが0.136、長期記憶可能性予測で0.056を達成したが、検証性能とテスト性能の間に顕著な分散が見られた。
• 小規模なデータセットと、トレーニングセットと開発セット間でのアノテーション品質の不一致が原因で、アンサンブルモデルに過学習が生じたことが観察された。
• 顔の感情特徴および自動生成キャプションは性能向上に寄与せず、最終モデルから除外された。