[論文レビュー] Effects of Word-frequency based Pre- and Post- Processings for Audio Captioning

Daiki Takeuchi, Yuma Koizumi+3 more|arXiv (Cornell University)|Sep 24, 2020

Subtitles and Audiovisual Media参考文献 29被引用数 11

ひとこと要約

本稿は、自動音声キャプションにおける語頻度に基づく事前および事後処理手法の影響を調査し、ミックスアップデータオーグメンテーションとビームサーチデコードを組み合わせたシステムを提案する。結果として、これらの手法はそれぞれSPIDErを0.8点および1.6点向上させた。一方、ゼロショット学習条件下ではマルチタスク学習に恩恵は見られなかった。

ABSTRACT

The system we used for Task 6 (Automated Audio Captioning)of the Detection and Classification of Acoustic Scenes and Events(DCASE) 2020 Challenge combines three elements, namely, dataaugmentation, multi-task learning, and post-processing, for audiocaptioning. The system received the highest evaluation scores, butwhich of the individual elements most fully contributed to its perfor-mance has not yet been clarified. Here, to asses their contributions,we first conducted an element-wise ablation study on our systemto estimate to what extent each element is effective. We then con-ducted a detailed module-wise ablation study to further clarify thekey processing modules for improving accuracy. The results showthat data augmentation and post-processing significantly improvethe score in our system. In particular, mix-up data augmentationand beam search in post-processing improve SPIDEr by 0.8 and 1.6points, respectively.

研究の動機と目的

• DCASE 2020チャレンジにおける高性能な音声キャプションシステムにおいて、個々のコンポONENT—データオーグメンテーション、マルチタスク学習、および事後処理—の寄与を明確化すること。
• 限定的なデータ、事前学習なしの条件下で、データオーグメンテーションおよび事後処理がキャプションの正確性を向上させるかを調査すること。
• スクラッチからの学習において、文の長さおよびキーワード予測のためのマルチタスク学習が性能を向上させるかを特定すること。
• ビームサーチデコードおよびテスト時オーグメンテーションの有効性を、キャプション品質メトリクスの向上の観点から評価すること。

提案手法

• 線形的に組み合わせた訓練サンプルを用いて、合成された音声-キャプションペアを生成するため、ミックスアップデータオーグメンテーションを適用した。
• 訓練の多様性を向上させるために、TF-IDFに基づく語の配置とIDFに基づくサンプル選択を用いたデータオーグメンテーションを実装した。
• 共有エンコーダと、文の長さおよびキーワードを予測するための別々のヘッドを備えたマルチタスク学習フレームワークを実装した。
• 推論時にビームサーチデコードを用い、複数の候補から尤もらしいスコアが最大のキャプションシーケンスを選択した。
• テスト時オーグメンテーション（TTA）として、各音声サンプルから複数の20秒セグメントをクロップし、推論結果を平均化した。
• 各コンポonentの寄与を分離するために、要素レベルおよびモジュールレベルのアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 限定的な訓練データ下で、ミックスアップデータオーグメンテーションは音声キャプション性能の向上にどの程度効果的か？
• RQ2 グリーディデコードと比較して、ビームサーチデコードはキャプション品質をどの程度向上させるか？
• RQ3 スクラッチからの学習において、文の長さおよびキーワード予測のためのマルチタスク学習はキャプションの正確性を向上させるか？
• RQ4 IDFに基づくサンプル選択とTTAは、モデルの一般化および性能にどのような影響を与えるか？
• RQ5 データオーグメンテーション、マルチタスク学習、または事後処理のうち、どのコンポonentが最終的なモデル性能に最も顕著な寄与をしているか？

主な発見

• ミックスアップデータオーグメンテーションにより、SPIDErが0.8ポイント向上し、リソースが限られた音声キャプションにおいて有効であることが示された。
• ビームサーチデコードにより、SPIDErにおけるCIDErおよびBLEU-4スコアが1.6ポイント向上し、文全体の整合性が向上していることが示された。
• ゼロショット学習条件下ではマルチタスク学習が性能向上に寄与しなかったため、このようなモジュールには事前学習が必要である可能性が示唆された。
• TTAおよびIDFに基づくサンプル選択は性能向上に寄与しなかった。これは、オーグメンテーションされたサンプルに最小限の統計的シフトが生じたためと推定される。
• データオーグメンテーションと事後処理の組み合わせは、独立的かつ加法的な利得をもたらし、両者を同時に削除した場合、SPIDErの低下を3.2ポイントも軽減した。
• ビームサーチデコードはn-gramベースのメトリクスにおいて特に効果的であり、局所最適な語の選択ではなく、グローバルに最適なシーケンスを選択するためである。