[論文レビュー] Refined Semantic Enhancement towards Frequency Diffusion for Video Captioning

Xian Zhong, Zipeng Li+4 more|arXiv (Cornell University)|Nov 28, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、周波数に配慮した拡散（FAD）モジュールと、乖離した意味的監督（DSS）を用いた、動画キャプション生成モデルである精錬された意味的強化（RSFD）を提案する。FADは周波数に配慮した拡散により低周波数トークンの理解を向上させ、DSSは拡散プロセスで失われる高周波数トークンの意味を補完する。これにより、MSR-VTT（+2.0 CIDEr）およびMSVD（+5.3 CIDEr）で最先端の性能を達成した。

ABSTRACT

Video captioning aims to generate natural language sentences that describe the given video accurately. Existing methods obtain favorable generation by exploring richer visual representations in encode phase or improving the decoding ability. However, the long-tailed problem hinders these attempts at low-frequency tokens, which rarely occur but carry critical semantics, playing a vital role in the detailed generation. In this paper, we introduce a novel Refined Semantic enhancement method towards Frequency Diffusion (RSFD), a captioning model that constantly perceives the linguistic representation of the infrequent tokens. Concretely, a Frequency-Aware Diffusion (FAD) module is proposed to comprehend the semantics of low-frequency tokens to break through generation limitations. In this way, the caption is refined by promoting the absorption of tokens with insufficient occurrence. Based on FAD, we design a Divergent Semantic Supervisor (DSS) module to compensate for the information loss of high-frequency tokens brought by the diffusion process, where the semantics of low-frequency tokens is further emphasized to alleviate the long-tailed problem. Extensive experiments indicate that RSFD outperforms the state-of-the-art methods on two benchmark datasets, i.e., MSR-VTT and MSVD, demonstrate that the enhancement of low-frequency tokens semantics can obtain a competitive generation effect. Code is available at https://github.com/lzp870/RSFD.

研究の動機と目的

• 低周波数トークン（意味的に重要であるが、学習中に過小に表現される）の長尾問題に対処すること。
• 既存モデルが高周波数語に偏るため、テスト段階での記述が貧弱になるという制限を克服すること。
• 外部知識に依存せずに、希少だが意味のあるトークンの認識・生成能力を向上させ、意味的豊かさを向上させること。
• 拡散ベースの意味伝播が原因で生じる高周波数トークンの情報損失を軽減し、トークン周波数にわたるバランスの取れた学習を確保すること。

提案手法

• コーパスおよび動画レベルの出現回数に基づいて、トークンを高周波数、低周波数、未マークの3つに分類する。
• トークン周波数を考慮した拡散プロセスにより、高周波数トークンから低周波数トークンへ意味を伝播させる周波数に配慮した拡散（FAD）を導入する。
• FADを適用する際、正解キャプションを意味空間にマッピングし、拡散機構を介して低周波数トークンと高周波数トークンを統合する。
• 隣接語を複数の教師として用いることで、中心語の意味を周波数に特化した形で補正することができる乖離した意味的監督（DSS）を設計する。
• 注意機構を用いた監督により、高周波数および低周波数トークンの両方を精錬し、それぞれの周波数カテゴリに特化した異なる監督戦略を適用する。
• FADとDSSをTransformerベースのエンコーダ・デコーダフレームワークに統合し、外部モジュールを一切用いずにエンドツーエンドの学習と推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 周波数に配慮した拡散は、動画キャプションにおける低周波数トークンの学習・生成能力を向上させることができるか？
• RQ2 複数の文脈に配慮した教師を用いて高周波数トークンを監督することで、拡散プロセスによって生じる情報損失を軽減できるか？
• RQ3 FADとDSSを併用することで、動画キャプションにおける長尾問題を緩和しつつ、高周波数トークンの品質を維持できるか？
• RQ4 低周波数トークンの意味的表現に注目することで、ベンチマークデータセット全体のキャプション生成性能がどの程度向上するか？
• RQ5 詳細で意味的に豊かなキャプションを生成する点で、提案手法は最先端のモデルと比較してどの程度優れているか？

主な発見

• MSR-VTTでは43.4のCIDErスコアを達成し、ベースラインAR-B比で2.0ポイントの向上を示し、キャプション品質の顕著な向上を確認した。
• MSVDでは51.2のCIDErスコアを達成し、AR-Bベースライン比で5.3ポイントの向上を示し、多様な動画コンテンツへの強い汎化能力を示した。
• FADモジュール単体でも、MSR-VTTで1.8ポイント、MSVDで1.7ポイントのCIDErスコア向上を達成し、低周波数トークン学習の有効性を示した。
• DSSモジュールは、拡散プロセスによって生じる高周波数トークンの意味的劣化を補い、'swims'などの高周波数語の出現確率を0.579から0.656に向上させた。
• 定性的な結果では、RSFDがより詳細で正確なキャプションを生成しており、ベースラインが見逃すような希少語（例：'ocean' や 'airplane'）を正しく予測していることが確認された。
• アブレーションスタディの結果、FADとDSSの併用が最良の性能をもたらし、それぞれのモジュールが意味的精錬と周波数バランスの両面で独自の貢献をしていることが確認された。