[論文レビュー] Keyframe Segmentation and Positional Encoding for Video-guided Machine Translation Challenge 2020

Tosho Hirasawa, Zhishen Yang+2 more|arXiv (Cornell University)|Jun 23, 2020

Multimodal Machine Learning Applications参考文献 10被引用数 8

ひとこと要約

本論文は、時間的順序を保持するために位置符号化とビデオ特徴を統合することで翻訳品質を向上させるキーフレームベースのビデオガイドド機械翻訳システムを提示する。階層的アテンションモデルとモダリティ固有のアテンション、および特徴エンセンブルを用い、VMTチャレンジ2020で36.60 BLEU-4を達成し、全提出物の中で1位を獲得した。

ABSTRACT

Video-guided machine translation as one of multimodal neural machine translation tasks targeting on generating high-quality text translation by tangibly engaging both video and text. In this work, we presented our video-guided machine translation system in approaching the Video-guided Machine Translation Challenge 2020. This system employs keyframe-based video feature extractions along with the video feature positional encoding. In the evaluation phase, our system scored 36.60 corpus-level BLEU-4 and achieved the 1st place on the Video-guided Machine Translation Challenge 2020.

研究の動機と目的

• ビデオからの視覚的情報を活用することで、ビデオガイドド機械翻訳の品質を向上させること。
• ビデオ特徴表現における時間的順序モデリングの欠如を解消すること。
• キーフレームベースの特徴抽出と位置符号化を通じて翻訳品質を向上させること。
• 翻訳性能に与える影響を評価するため、行動、物体、シーン特徴の異なるビデオ特徴タイプの寄与を分析すること。
• 多様なビデオ特徴タイプのモデルアンサンブルにより、最先端の性能を達成すること。

提案手法

• ビデオからキーフレームを抽出し、物体認識用（ResNet-152）とシーン認識用（ResNet-50）の別々のResNetベースのエンコーダーで処理する。
• 行動特徴はビデオクリップ上でI3Dモデルを用いて抽出するのに対し、外観特徴（物体とシーン）はキーフレームから抽出する。
• 時間的順序を保持するために、位置符号化をビデオ表現に追加する。位置と次元に基づく正弦関数を用いる：$ PE_{(pos,2i)} = sin(pos/10000^{2i/d}) $, $ PE_{(pos,2i+1)} = cos(pos/10000^{2i/d}) $。
• 階層的アテンション機構により、テキストとビデオモダリティごとに別々のコンテキストベクトルを計算し、モダリティ間のアテンションを用いた重み付き融合を実施する。
• デコーダーはテキストおよびビデオ特徴の両方に対するアテンションを用いる2層のGRUであり、最終的なコンテキストベクトルはモダリティ固有のコンテキストベクトルの重み付き和として計算される。
• 異なるビデオ特徴（行動、物体、シーン）を用いて学習された複数のモデルをアンサンブルし、耐性と性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 キーフレームベースのビデオ特徴抽出は、ビデオガイドド機械翻訳における翻訳品質を向上させることができるか？
• RQ2 ビデオ表現に位置符号化を組み込むことで、時間的順序を保持でき、翻訳性能が向上するか？
• RQ3 行動、物体、シーン特徴といった異なるタイプのビデオ特徴は、翻訳品質にどのように寄与するか？
• RQ4 多様なビデオ特徴を用いて学習されたモデルをアンサンブルすることで、さらなる性能向上が達成できるか？
• RQ5 公式I3D特徴とキーフレームベース特徴の両者において、VMT設定での相対的影響は何か？

主な発見

• 本システムは、公開テストセットで36.60 BLEU-4を達成し、Video-guided Machine Translation Challenge 2020で1位を獲得した。
• 位置符号化を追加することで、それがないベースラインと比較して+0.18 BLEUの向上が得られた一方、省略した場合-0.08 BLEUのわずかな低下が観察された。
• テキストに加えて物体特徴を使用することで、テキストのみのベースラインと比較して0.19 BLEU向上し、公式I3Dベースラインと比較しても0.01 BLEU向上した。
• 行動特徴が最も高い改善効果を示し、テキストのみのベースラインと比較して0.32 BLEU向上、I3Dベースラインと比較しても0.14 BLEU向上した。
• 行動、物体、シーン特徴を用いて学習した3つのモデルをアンサンブルすることで、最良の単一特徴モデルと比較して0.96 BLEUの性能向上が達成された。
• 最終的なアンサンブルモデルは、3つのバリエーション（行動、物体、シーン）を組み合わせており、最高の性能を発揮し、最終提出物として提出された。