[論文レビュー] Multi-task Regularization Based on Infrequent Classes for Audio Captioning

Emre Çakır, Konstantinos Drossos+1 more|arXiv (Cornell University)|Jul 9, 2020

Music and Audio Processing参考文献 21被引用数 18

ひとこと要約

本論文は、語の頻度の逆数に比例する損失重み付けと、クリップレベルのコンテンツ語検出を目的とした補助タスクを導入することで、音声キャプションにおけるクラス不均衡を解消するマルチタスク正則化手法を提案する。Clothoデータセットを用いた実験では、ベースライン比でSPIDErスコアに37%の相対的改善を達成し、情報量の多いコンテンツ語の学習が向上するとともに、機能語への過学習が軽減されることを示している。

ABSTRACT

Audio captioning is a multi-modal task, focusing on using natural language for describing the contents of general audio. Most audio captioning methods are based on deep neural networks, employing an encoder-decoder scheme and a dataset with audio clips and corresponding natural language descriptions (i.e. captions). A significant challenge for audio captioning is the distribution of words in the captions: some words are very frequent but acoustically non-informative, i.e. the function words (e.g. "a", "the"), and other words are infrequent but informative, i.e. the content words (e.g. adjectives, nouns). In this paper we propose two methods to mitigate this class imbalance problem. First, in an autoencoder setting for audio captioning, we weigh each word's contribution to the training loss inversely proportional to its number of occurrences in the whole dataset. Secondly, in addition to multi-class, word-level audio captioning task, we define a multi-label side task based on clip-level content word detection by training a separate decoder. We use the loss from the second task to regularize the jointly trained encoder for the audio captioning task. We evaluate our method using Clotho, a recently published, wide-scale audio captioning dataset, and our results show an increase of 37\% relative improvement with SPIDEr metric over the baseline method.

研究の動機と目的

• 頻度の高い機能語が訓練損失を支配する音声キャプションにおけるクラス不均衡を是正し、情報量の多いコンテンツ語の学習を促進すること。
• クリップレベルでのコンテンツ語検出に焦点を当てた補助タスクを導入することで、モデルの一般化性能を向上させること。
• コンテンツ語検出ヘッドを用いたマルチタスク学習により、音声エンコーダーの表現学習を強化すること。
• DCASE 2020 Clothoベンチマーク上で、損失重み付けとマルチタスク正則化の有効性を評価すること。
• 音響的に情報量の多いコンテンツ語を機能語よりも優先することで、より意味的に正確なキャプションを生成すること。

提案手法

• モデルは、64バンドのログメルスペクトログ램を処理する双方向GRUエンコーダーとGRUデコーダーを備えたシーケンス・ツー・シーケンスオートエンコーダーを採用する。
• 語レベルのキャプションタスクは、語の頻度に反比例するように交差エントロピー損失を重み付けすることで正則化される。
• 別個のマルチラベルコンテンツ語検出ヘッドを並列に学習し、各音声クリップにおけるコンテンツ語の有無を専用デコーダーと分類器を用いて予測する。
• コンテンツ語検出タスクの損失を共有エンコーダーの正則化に用いることで、より判別的な音声特徴を捉える能力が向上する。
• エンコーダーのパラメータを共有する共同学習プロセスにより、キャプション生成とコンテンツ語検出の両方の目的関数を同時に最適化する。
• 公平な比較のため、バッチサイズ32、Adam最適化法（初期値1e-4の学習率）、改善が100エポック続かない場合に早期停止するなどのハイパーパrameterをベースラインと同一に維持する。

実験結果

リサーチクエスチョン

• RQ1 語レベル損失の逆頻度重み付けは、音声キャプションにおけるレアだが情報量の高いコンテンツ語の学習を改善できるか？
• RQ2 マルチラベルコンテンツ語検出補助タスクの導入により、エンコーダーの表現能力が音声キャプションに適応するよう向上するか？
• RQ3 頻度が低いクラスに基づくマルチタスク正則化は、Clothoデータセットにおけるキャプション性能にどの程度の向上をもたらすか？
• RQ4 損失重み付けと補助タスクの監視を組み合わせることで、生成キャプションの文法的正しさと意味的豊かさにどのような影響を与えるか？
• RQ5 提案手法は、機能語への過学習を軽減しつつ、全体のキャプション品質を維持または向上させられるか？

主な発見

• 提案手法CWR-WL-CAPSは、ベースライン比でSPIDErスコアに37%の相対的改善を達成し、スコアは7.4（ベースライン5.4）を記録した。
• すべての主要指標が向上：CIDErは7.4から10.7に、SPICEは3.3から4.0に、BLEU-1は38.9から40.9に上昇した。
• 損失重み付けの追加（CWR-CAPS）のみでもベースラインを上回る性能を示し、頻度に基づく損失再重み付けが有効であることが示された。
• コンテンツ語検出を用いたマルチタスク正則化は、損失重み付け単体よりも大きな向上をもたらし、特にTF-IDF重み付けに敏感なCIDErで顕著であった。
• 改善は見られたが、生成キャプションは依然として文法的構造が不十分で、'is'、'are'、'and'などの機能語が文末に繰り返し出現している。
• 著者らは、構文的品質の向上のための将来の言語モデル統合の必要性を指摘し、今後の研究の主要な方向性とすることを示唆している。