[論文レビュー] The NTT DCASE2020 Challenge Task 6 system: Automated Audio Captioning with Keywords and Sentence Length Estimation

Yuma Koizumi, Daiki Takeuchi+3 more|arXiv (Cornell University)|Jul 1, 2020

Music and Audio Processing参考文献 15被引用数 21

ひとこと要約

本稿では、語彙選択の不確実性と文長の不確実性を同時に解消するため、キーワードと文長を共同で推定するマルチタスク学習システムを提案する。注意機構を備えたシーケンス・ツー・シーケンスのキャプション生成フレームワークにキーワードと文長の予測を統合し、データ拡張を施した結果、DCASE2020の開発・テストセットで20.7のSPIDErスコアを達成し、ベースライン（5.4）を著しく上回った。

ABSTRACT

This technical report describes the system participating to the Detection and Classification of Acoustic Scenes and Events (DCASE) 2020 Challenge, Task 6: automated audio captioning. Our submission focuses on solving two indeterminacy problems in automated audio captioning: word selection indeterminacy and sentence length indeterminacy. We simultaneously solve the main caption generation and sub indeterminacy problems by estimating keywords and sentence length through multi-task learning. We tested a simplified model of our submission using the development-testing dataset. Our model achieved 20.7 SPIDEr score where that of the baseline system was 5.4.

研究の動機と目的

• 音声キャプションにおける語彙選択の不確実性を解消する。これは、1つの音響イベントが複数の同義語で記述可能であるためである。
• 文長の不確実性を軽減する。これは、同じイベントを簡潔にまたは詳細に記述できるためである。
• 共有されたディープラーニングアーキテクチャを用いて、キーワードと文長の推定を同時に実行することで、キャプション生成の性能を向上させる。
• TF-IDFに基づくデータサンプリングと拡張を用いて、低頻度語やレアトピックに対するモデルの一般化能力を向上させる。
• 専用サブモデルのアンサンブルを用いることで、DCASE2020音声キャプションベンチマークで最先端の性能を達成する。

提案手法

• 生の音声からログメルスペクトログ램を抽出し、HPSSを適用して周期的成分と打撃成分を分離。それらを連結して3チャネルの入力テンソルとした。
• NLTKによるトークン化を用いてキャプションを前処理し、BOS、EOS、PAD、UNKトークンを含む2,144語の語彙を構築した。
• ファイル名とメタデータから抽出した421語の語幹化済み語彙をキーワード語彙として構築し、メタデータおよびキャプションのキーワード抽出に使用した。
• キャプション生成、キーワード推定、文長予測のための共有エンコーダーとデコーダーを持つマルチタスクのシーケンス・ツー・シーケンスモデルを設計した。
• レア語やトピックを含む訓練サンプルを優先するため、TF-IDFに基づくサンプリングを採用し、低頻度語への一般化能力を向上させた。
• 学習率を1e-4に固定したAdamW最適化手法を用い、検証損失に基づく早期停止を実施。推論段階ではモデルアンサンブルを採用した。

実験結果

リサーチクエスチョン

• RQ1 キーワードと文長の共同推定は、音声キャプションにおける語彙選択と文長の不確実性を低減できるか？
• RQ2 キーワードや文長といった補助予測を組み込むことで、マルチタスク学習がキャプション生成性能をどの程度向上できるか？
• RQ3 TF-IDFに基づくデータサンプリングは、キャプションタスクにおけるレア語やトピックの性能向上にどの程度寄与するか？
• RQ4 自己注意機構（MHSA）を全結合層に置き換えたり、メタキーワードブランチを削除したりするアーキテクチャの変更が、モデル性能に与える影響はいかほどか？
• RQ5 低リソースかつ高不確実性な音声キャプション環境において、モデルアンサンブルの影響は何か？

主な発見

• 提案されたシステムは、DCASE2020の開発・テストデータセットで20.7のSPIDErスコアを達成し、ベースラインの5.4を著しく上回った。
• すべての個別モデルバージョン（Model1～Model6）がベースラインを上回り、マルチタスク学習アプローチの有効性を示した。
• 複数の専用アーキテクチャ（例：Model1、Model3、Model4、Model5、Model6）を統合したアンサンブルモデルが最高の性能を発揮した。
• TF-IDFに基づくデータサンプリングと拡張の導入により、モデルのレア語やトピックに対するロバスト性が向上し、SPIDErスコアの上昇に寄与した。
• メタキーワード推定とアテンションブロックの除去（Model3）によるアブレーション実験でも、高い性能が得られた。これは、コアとなるキャプション生成および予測ヘッドが高精度を達成するのに十分であることを示している。
• 特に50個のモデルを含むSubmission 2では、高い安定性と性能が確認され、モデルアーキテクチャの多様性が一般化能力を向上させることを示唆している。