[論文レビュー] Large Raw Emotional Dataset with Aggregation Mechanism

В. В. Кондратенко, Artem Sokolov+4 more|arXiv (Cornell University)|Dec 23, 2022

Speech Recognition and Synthesis被引用数 4

ひとこと要約

本論文は、演技された（クラウドソーシングによる）および現実の（ポッドキャストからの）ソースから収集した約350時間の音声とトランスクリプトを含む、大規模でオープンソースのバイモodalなロシア語感情認識データセットDushaを紹介する。信頼性の高い感情ラベルを生成するために、0.9の信頼度しきい値を用いたDawid-Skeneベースの集約メカニズムを提案し、事前学習（演技済み）およびファインチューニング（現実的）な応用を可能にする。ベースラインモデルは演技済みテストセットで0.83のUAおよび0.77のF1を達成した。

ABSTRACT

We present a new data set for speech emotion recognition (SER) tasks called Dusha. The corpus contains approximately 350 hours of data, more than 300 000 audio recordings with Russian speech and their transcripts. Therefore it is the biggest open bi-modal data collection for SER task nowadays. It is annotated using a crowd-sourcing platform and includes two subsets: acted and real-life. Acted subset has a more balanced class distribution than the unbalanced real-life part consisting of audio podcasts. So the first one is suitable for model pre-training, and the second is elaborated for fine-tuning purposes, model approbation, and validation. This paper describes pre-processing routine, annotation, and experiment with a baseline model to demonstrate some actual metrics which could be obtained with the Dusha data set.

研究の動機と目的

• ロシア語における大規模で多様かつ現実的な音声感情データセットの不足に応えるために、新たなオープンベンチマークを構築すること。
• 統計的集約を用いた複数のアノテーターによるクラウドソーシングアプローチにより、感情認識データセットにおけるバイアスを軽減し、ラベルの信頼性を向上させること。
• 事前学習と現実世界のモデル評価を両立できる二つのドメイン（演技済み（バランス型）および現実生活（アンバランス型））を備えたデータセットを提供すること。
• データ、前処理スクリプト、およびベースラインモデルを含む包括的なパイプラインをリリースし、SER研究の参入障壁を低くすること。
• 低リソース言語（ロシア語）としての高品質でマルチリンガル対応可能なコーパスを提供することで、多言語間および転移学習の研究を可能にすること。

提案手法

• 本データセットであるDushaは、2つのソースから約350時間のロシア語音声を収集している：クラウドソーシングによる演技録音（255時間）と、現実のポッドキャスト録音（90時間）。
• 各音声サンプルはトランスクリプトとペアを成し、マルチモーダルな感情認識に適したバイモダナルデータセットを形成する。
• 感情ラベルは4つのクラス（怒り、喜び、ニュートラル、悲しみ）で定義され、各サンプルは複数のクラウドワーカーによってアノテートされている。
• 個々のアノテーションを1つの高信頼度ラベルに集約するために、信頼度しきい値0.9を用いたDawid-Skene（DS）アルゴリズムが適用されている。
• 集約プロセスは単一ラベルおよびマルチラベル出力をサポートし、ラベルの信頼性を向上させるとともに、アノテーションバイアスを低減する。
• ベースラインモデルは、Melスペクトログ램（64フィルターバンク、20msウィンドウ、10msオーバーラップ）、自己注意層を備えたMobileNetV2ベースのアーキテクチャを採用し、バッチサイズ64で100エポック、Adamオプティマイザーで訓練された。

実験結果

リサーチクエスチョン

• RQ1 十分な多様性と現実性を備えた大規模なバイモダナルなロシア語感情認識データセットを構築でき、強力なSERモデルの訓練および評価を可能にするのか？
• RQ2 0.9の信頼度しきい値を用いたDawid-Skene集約メカニズムは、直接的なクラウドソーシングアノテーションと比較して、ラベルの信頼性をどの程度向上させるのか？
• RQ3 Dushaの演技済みサブセットで訓練されたベースラインモデルは、ポッドキャストからの非構造的で現実的な音声にどの程度一般化できるのか？
• RQ4 標準的なディープラーニングアーキテクチャと標準的な評価プロトコルを用いた場合、Dushaベンチマークで達成可能な性能指標（例：F1、正確度）は何か？
• RQ5 IEMOCAP4で訓練されたモデルの性能は、Dushaで得られた結果と比較してどの程度か？

主な発見

• 集約後、Dushaデータセットは230,177件の訓練サンプルと24,672件のテストサンプルを含み、訓練用に約260時間、テスト用に28時間の音声をカバーする。
• 演技済み（クラウドソーシング）サブセットは164,387件のサンプルを含み、4つの感情クラスに比較的バランスの取れた分布を示すが、ポッドキャストサブセット（90,462件）はニュートラル感情の強い優位性を示している。
• ベースラインモデルは演技済みテストセットで0.83の未加重正確度（UA）および0.77のマクロF1スコアを達成し、バランス型サブセットで優れた性能を示している。
• より現実的なポッドキャストテストセットでは、モデルは0.89のUAを達成したが、加重正確度（WA）は0.53、F1は0.54にとどまり、ドメインシフトとクラスアンバランスの課題が顕在化している。
• IEMOCAP4で訓練されたモデルは5分割交差検証で0.59のUA、0.59のWA、0.59のF1を達成し、Dushaの結果と比較するためのベースラインとして機能する。
• 集約メカニズムはクラウドソーシングラベルのノイズを効果的に低減し、90％のサンプルで信頼度スコアが0.9を超えることを確認した。これにより、下流タスクのための高品質なラベル出力を保証した。