[論文レビュー] Listen carefully and tell: an audio captioning system based on residual learning and gammatone audio representation

Sergi Perez-Castanos, Javier Naranjo-Alcazar+2 more|arXiv (Cornell University)|Jun 27, 2020

Music and Audio Processing参考文献 24被引用数 6

ひとこと要約

本稿では、注意メカニズムを備えたエンコーダ・デコーダフレームワークにおいて、ギャマトーンフィルターバンク表現とリーマンニューロンネットワーク（ResNets）を用いた音声キャプション生成システムを提案する。この手法は、データ拡張や単語埋め込みを用いないにもかかわらず、ベースラインを上回り、ResNet-101を用いることで最高の SPIDEr スコア 0.150 を達成し、キャプション品質の向上を示した。

ABSTRACT

Automated audio captioning is machine listening task whose goal is to describe an audio using free text. An automated audio captioning system has to be implemented as it accepts an audio as input and outputs as textual description, that is, the caption of the signal. This task can be useful in many applications such as automatic content description or machine-to-machine interaction. In this work, an automatic audio captioning based on residual learning on the encoder phase is proposed. The encoder phase is implemented via different Residual Networks configurations. The decoder phase (create the caption) is run using recurrent layers plus attention mechanism. The audio representation chosen has been Gammatone. Results show that the framework proposed in this work surpass the baseline system in challenge results.

研究の動機と目的

• 既存のベースラインを改善する新しい音声キャプションシステムの開発を目的とし、高度な音声表現とディープラーニングアーキテクチャを活用する。
• リーマン学習（ResNetバージョン）を用いたエンコーダーとしての有効性を、ギャマトーンスペクトログラムを用いた音声キャプションに評価すること。
• 複数の自動評価指標を用いて、異なるResNetの深さがキャプション生成品質に与える影響を評価すること。
• データ拡張や単語埋め込みを用いない非拡張・埋め込みフリーなシステムが、音声キャプションで競争力のある性能を達成できるかを調査すること。

提案手法

• 音声入力を、従来のメルスペクトログ램に代わる64周波数ビンを持つギャマトーンフィルターバンク表現に変換する。
• エンコーダーは、さまざまなResNet構成（ResNet-50、-101、-152、Wide-101）を用い、ギャマトーンスペクトログラムから階層的な音声特徴を抽出する。
• デコーダーは、逐次的にトークンを生成するためのゲート付き再帰ユニット（GRU）と注意メカニズムを組み合わせる。
• 教師強制と交差エントロピー損失を用いて、キャプション生成プロセスを最適化する。
• Clotho データセット上で、BLEU、METEOR、ROUGE-L、CIDEr、SPICE、SPIDEr といった標準指標を用いて評価する。
• すべてのキャプションの後処理は、公平な比較のため、ベースラインと同一の手順に従う。

実験結果

リサーチクエスチョン

• RQ1 ギャマトーンフィルターバンク表現を用いる場合とメルスペクトログラムを用いる場合とでは、音声キャプション性能にどのような差が生じるか？
• RQ2 異なるResNetアーキテクチャ（深さと幅）が音声キャプション品質に与える影響は何か？
• RQ3 単語埋め込みやデータ拡張を用いないシステムが、音声キャプションで競争力のある結果を達成できるか？
• RQ4 注意メカニズムは、提案されたエンコーダ・デコーダフレームワークにおいて、キャプション生成をどのように改善するか？

主な発見

• ResNet-101エンコーダーが最高のSPIDErスコア0.150を達成し、ベースラインを上回り、31システム中13位の成績を収めた。
• ResNet-101を用いたシステムは、すべての指標で最高の総合的性能を示し、ベースライン比0.005のSPIDErスコア向上を達成した。
• ResNet-50はBLEU-n指標で最も優れた性能を示し、基準キャプションとのn-gram一致度が高かった。
• ResNet-152とWide-101は、CIDErとSPICEの指標でResNet-101と同等の性能を示し、深いアーキテクチャにもかかわらず同程度のキャプション品質を達成した。
• すべてのモデルが文法的に正しいキャプションを生成したが、複雑な音声シーンでは「シャワーを食べている」など、事象の事実誤認（ホールーシュレーション）を示す例も見られた。
• データ拡張や単語埋め込みの欠如が、強い性能を妨げることはなく、ギャマトーン-ResNet-注意パイプラインの堅牢性を示した。