[論文レビュー] Audio Captioning Transformer

Xinhao Mei, Xubo Liu+3 more|arXiv (Cornell University)|Jul 21, 2021

Music and Audio Processing参考文献 23被引用数 32

ひとこと要約

本論文は Audio Captioning Transformer (ACT) を提案する。畳み込みを用いない Transformer のエンコーダ-デコーダを音声キャプション生成に適用し、AudioSet で事前学習し、AudioCaps で評価したところ競争力のある結果を示した。

ABSTRACT

Audio captioning aims to automatically generate a natural language description of an audio clip. Most captioning models follow an encoder-decoder architecture, where the decoder predicts words based on the audio features extracted by the encoder. Convolutional neural networks (CNNs) and recurrent neural networks (RNNs) are often used as the audio encoder. However, CNNs can be limited in modelling temporal relationships among the time frames in an audio signal, while RNNs can be limited in modelling the long-range dependencies among the time frames. In this paper, we propose an Audio Captioning Transformer (ACT), which is a full Transformer network based on an encoder-decoder architecture and is totally convolution-free. The proposed method has a better ability to model the global information within an audio signal as well as capture temporal relationships between audio events. We evaluate our model on AudioCaps, which is the largest audio captioning dataset publicly available. Our model shows competitive performance compared to other state-of-the-art approaches.

研究の動機と目的

• 畳み込みなしの純粋な Transformer エンコーダ-デコーダを適用して音声キャプション生成を前進させる。
• 時間パッチ上の自己注意を用いて、音声のグローバルかつ細かな時系列情報をモデル化する。
• 音声タグ付けタスクとして AudioSet での事前学習と DeiT 初期化を活用して一般化を向上させる。
• AudioCaps 上で最先端手法と比較して ACT を評価し、データ効率とハイパーパラメータの影響を分析する。

提案手法

• ログメルスペクトログラムを非重複の時間パッチとして表現し、グローバルな音声情報のためのクラス-token を持つ Transformer エンコーダに埋め込む。
• 層正規化と残差接続を含む、マルチヘッド自己注意とフィードフォワード層を備えた標準的な Transformer エンコーダを使用する。
• デコーダでは、マスク付き自己注意とエンコーダ出力を参照する追加のクロスアテンション層を用い、線形+ソフトマックス層を介して語彙を予測する。
• エンコーダを AudioSet で音声タグ付けタスクとして事前学習し、一般化された音声パターンを学習する。タグ付け出力のためのクラス-token を用いる。
• デコーダを Word2Vec 埋め込みで初期化し、深さとヘッド数が異なる3つのデコーダバリアントを試す。
• クロスエントロピー損失と教師強制付きでエンドツーエンドに訓練し、推論時にはビームサーチ（ビームサイズは最大5）を用いる。

実験結果

リサーチクエスチョン

• RQ1 畳み込みのない Transformer エンコーダ-デコーダ (ACT) は、キャプション生成のためにグローバルかつ時系列の音声情報を効果的に捉えるか？
• RQ2 大規模な音声タグ付けデータセット（AudioSet）でエンコーダを事前学習することが、キャプション性能にどのような影響を与えるか？
• RQ3 デコーダの深さとアテンションヘッド数がキャプション品質と評価指標に与える影響は？
• RQ4 AudioCaps における ACT の CNN ベースおよび Transformer ベースのベースライン手法との精度と効率の比較は？

主な発見

モデル	BLEU 1	BLEU 2	BLEU 3	BLEU 4	ROUGE L	METEOR	CIDEr	SPICE	SPIDEr
ACT_s_DeiT_AudioSet	0.643	0.483	0.352	0.249	0.469	0.218	0.669	0.160	0.415
ACT_m_DeiT_AudioSet	0.653	0.495	0.363	0.259	0.471	0.222	0.663	0.163	0.413
ACT_l_DeiT_AudioSet	0.647	0.488	0.356	0.252	0.468	0.222	0.679	0.160	0.420
ACT_m_scratch	0.567	0.411	0.285	0.191	0.417	0.187	0.501	0.127	0.314
ACT_m_DeiT	0.606	0.445	0.319	0.224	0.445	0.207	0.586	0.147	0.367
RNN+RNN [ 3 ]	0.614	0.446	0.317	0.219	0.450	0.203	0.593	0.144	0.369
CNN+RNN [ 6 ]	0.655	0.476	0.335	0.231	0.467	0.229	0.660	0.168	0.414
CNN+Transformer [ 9 ]	0.641	0.479	0.344	0.236	0.469	0.221	0.693	0.159	0.426
CNN+Transformer_scratch [ 9 ]	0.610	0.461	0.334	0.234	0.455	0.206	0.629	0.144	0.386

• ACT は最先端手法と比較して AudioCaps で競争力のある性能を発揮する。
• AudioSet でエンコーダを事前学習することは性能を顕著に向上させ、DeiT 初期化だけでも顕著な向上を提供する。
• Encoder pre-training は Transformer ベースの音声キャプション生成において極めて重要であり、事前学習なしでゼロから訓練すると CNN+Transformer に劣る。
• ACT_m（デコーダ 4 層）は機械翻訳指標で最高を達成し、ACT_l は CIDEr と SPIDEr のスコアを改善する。
• ACT モデルは CNN+Transformer より訓練が速く、1エポックあたり5分未満で、CNN+Transformer は7分程度。