[論文レビュー] Temporal Sub-sampling of Audio Feature Sequences for Automated Audio Captioning

Khoa N. A. Nguyen, Konstantinos Drossos+1 more|arXiv (Cornell University)|Jul 6, 2020

Music and Audio Processing参考文献 17被引用数 5

ひとこと要約

本稿では、音声字幕生成のための多層双向RNNエンコーダー内に時間的サブサンプリングを導入し、各RNN層の後にシーケンス長を短縮することで、長期的な音声パターンをよりよく捉えることを目的としている。Clothoデータセットにおける実験では、すべての指標で一貫した向上が得られ、特にM=8のサブサンプリング因子で最高の性能を示した。特にSPIDErは+1.3の向上を記録した。

ABSTRACT

Audio captioning is the task of automatically creating a textual description for the contents of a general audio signal. Typical audio captioning methods rely on deep neural networks (DNNs), where the target of the DNN is to map the input audio sequence to an output sequence of words, i.e. the caption. Though, the length of the textual description is considerably less than the length of the audio signal, for example 10 words versus some thousands of audio feature vectors. This clearly indicates that an output word corresponds to multiple input feature vectors. In this work we present an approach that focuses on explicitly taking advantage of this difference of lengths between sequences, by applying a temporal sub-sampling to the audio input sequence. We employ a sequence-to-sequence method, which uses a fixed-length vector as an output from the encoder, and we apply temporal sub-sampling between the RNNs of the encoder. We evaluate the benefit of our approach by employing the freely available dataset Clotho and we evaluate the impact of different factors of temporal sub-sampling. Our results show an improvement to all considered metrics.

研究の動機と目的

• 音声入力（数千の特徴ベクトル）とテキストの字幕（数十語）の間のシーケンス長の不一致を解決すること。
• エンコーダー内で時間的解像度を明示的に低下させることで、長時間にわたる音声パターンの学習が向上するかを調査すること。
• 潜在表現への階層的サブサンプリングを適用することで、seq2seq型音声字幕生成モデルの性能を向上させること。
• 標準化されたベンチマークを用いて、異なるサブサンプリング要因が字幕生成指標に与える影響を評価すること。

提案手法

• エンコーダー内の各双向RNN層の後に時間的サブサンプリングを適用し、シーケンス長を要因Mで短縮する。
• エンコーダーからの固定長ベクトル出力を用い、RNNベースのデコーダーで字幕を生成する。
• DCASE 2020のベースラインと同一のアーキテクチャを維持し、エンコーダー層間でのサブサンプリングの追加のみを実施する。
• サブサンプリングは全層に均一に適用され、次のRNN層に送る前のタイムステップ数を削減する。
• シーケンス・トゥ・シーケンスフレームワークを保持しつつ、エンコーダーが顕著な長時間にわたる音声イベントに注目できる能力を強化する。
• サブサンプリングは最終エンコーダー層の後ではなく、次のRNN層の前に行われ、階層的表現学習を維持する。

実験結果

リサーチクエスチョン

• RQ1 音声特徴シーケンスの時間的サブサンプリングは、音声字幕生成の性能を向上させるか？
• RQ2 サブサンプリング要因Mの選択が、さまざまな指標における生成字幕の質にどのように影響するか？
• RQ3 Clothoデータセットで性能を最大化する最適なサブサンプリング要因は存在するか？
• RQ4 サブサンプリングは、1語に対応する長期的な音声パターンを捉える能力を向上させるか？
• RQ5 サブサンプリングは推論速度とシーケンス長の短縮にどのように影響するか？

主な発見

• BLEU、METEOR、CIDEr、SPICE、SPIDErの全評価指標が、M≥2のサブサンプリング要因を用いた場合、M=1のベースラインと比較して向上した。
• 最高のSPIDErスコア0.067はM=8で達成され、ベースラインから1.3ポイントの向上を記録した。
• M=8およびM=16のサブサンプリング要因では、入力と比較してエンコーダー出力長がそれぞれ98.43%および99.60%短縮された。
• 推論時間はM=1の58.81秒からM=16の20.42秒に短縮され、顕著な高速化が確認された。
• モデルは音声のソース（例：犬、鳥、人間）や行動（例：歩行、呼吸）を正しく特定できたが、言語モデリングの能力は依然として弱かった。
• Mを増加させても性能向上が単調に継続しなかったため、圧縮と情報保持のトレードオフが存在することが示唆された。