[論文レビュー] WaveTransformer: A Novel Architecture for Audio Captioning Based on Learning Temporal and Time-Frequency Information

An Cong Tran, Konstantinos Drossos+1 more|arXiv (Cornell University)|Oct 21, 2020

Music and Audio Processing参考文献 21被引用数 9

ひとこと要約

WaveTransformerは、1次元の拡張畳み込みと2次元CNNを用いて音声の時間的パターンと時間周波数パターンを明示的にモデル化し、その後に学習可能な統合モジュールを適用する、音声字幕生成のための新規アーキテクチャを提案する。Clothoデータセットにおいて、データ拡張や多タスク学習を用いずに、ビームサーチを用いることで18.2のSPIDErスコアを達成し、先行手法を上回る最先端の性能を発揮する。

ABSTRACT

Automated audio captioning (AAC) is a novel task, where a method takes as an input an audio sample and outputs a textual description (i.e. a caption) of its contents. Most AAC methods are adapted from from image captioning of machine translation fields. In this work we present a novel AAC novel method, explicitly focused on the exploitation of the temporal and time-frequency patterns in audio. We employ three learnable processes for audio encoding, two for extracting the local and temporal information, and one to merge the output of the previous two processes. To generate the caption, we employ the widely used Transformer decoder. We assess our method utilizing the freely available splits of Clotho dataset. Our results increase previously reported highest SPIDEr to 17.3, from 16.2.

研究の動機と目的

• 音声の時間的および時間周波数的パターンを明示的に捉えることができる深層学習アーキテクチャを、自動音声字幕生成のための開発を目的とする。
• 局所的・時間的・スペクトログラムベースの表現を、学習可能な統合メカニズムを用いて統合することで、字幕品質の向上を図ることを目的とする。
• データ拡張や多タスク学習を一切用いずに、公開済みの分割データのみを用いてClothoデータセットで最先端の性能を達成することを目的とする。
• 時間的・時間周波数的・統合表現の個々の寄与およびそれらの組み合わせによる字幕生成性能への影響を分析することを目的とする。

提案手法

• モデルは3本のブランチからなるエンコーダを採用：1本目は1次元の拡張畳み込み（WaveNetにインspired）を用いて長距離の時間的依存性を学習し、2本目は2次元CNNを用いて時間周波数パターンを抽出し、3本目はそれらの出力を統合する。
• 時間的エンコーダ（E_temp）は、スタックされたwave-blockを用い、それぞれが異なるカーネルサイズ、拡張率、受容野を持つ7つの1次元畳み込み層を含み、階層的な時間的特徴を捉える。
• 時間周波数エンコーダ（E_tf）は、ログメルスペクトログ램を処理し、2次元CNNを用いて局所的なスペクトルパターンや音声イベントを学習する。
• 統合モジュール（E_merge）は、E_tempとE_tfの特徴を要素ごとの加算または連結により統合し、その後にフィードフォワード層を適用することで統一された音声表現を生成する。
• デコーダは標準的なTransformerデコーダを採用し、マルチヘッドアテンションを用い、統合された音声表現から逐次的に字幕を生成する。
• 推論時にはビームサーチを用い、生成品質を向上させ、SPIDErスコアの顕著な向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 時間的および時間周波数的表現が、音声字幕生成性能にそれぞれどのように寄与しているか？
• RQ2 時間的および時間周波数的特徴の学習可能な統合により、単独で用いる場合よりも字幕品質が向上するか？
• RQ3 提案されたWaveTransformerアーキテクチャは、データ拡張や多タスク学習を用いずにClothoデータセットで最先端の性能を達成できるか？
• RQ4 E_temp、E_tf、E_mergeといった異なるモジュールが、物体・属性・空間的時間的関係の記述能力にどのように影響を与えるか？

主な発見

• WaveTransformerは、ビームサーチを用いることで、Clothoの評価スプリットで18.2の新しい最先端SPIDErスコアを達成し、先行の最先端手法を上回った。
• 時間周波数エンコーダ（WT_tf）は、時間的エンコーダ（WT_temp）を上回る性能を示し、スペクトログラムパターンが音声イベントの特定に不可欠であることが示唆された。
• E_mergeモジュールを介して時間的および時間周波数的特徴を統合した場合、特にSPICEおよびCIDErスコアで顕著な向上が見られ、物体の属性や関係性のモデリングがより良くなっていることが示された。
• 完全なWaveTransformerモデル（WT）は、標準スプリットで17.3のSPIDErを達成し、以前の最先端の16.2を上回った。
• ビームサーチは顕著な性能向上をもたらし、SPIDErを17.3から18.2に引き上げた。これは、生成品質の向上に有効であることを示している。
• データ拡張を用いないNTTや、多タスク学習を用いないTRACKEよりも優れた性能を発揮した。これは、外部の正則化技術に依存せずとも、本手法の優位性が裏付けられていることを示している。