[論文レビュー] Third DIHARD Challenge Evaluation Plan

Neville Ryant, Kenneth Church+4 more|arXiv (Cornell University)|Jun 4, 2020

Speech Recognition and Synthesis被引用数 13

ひとこと要約

第3回DIHARDチャレンジ評価計画は、実世界の困難な音声記録に焦点を当てたスプーカー・ディアライゼーションコンペティションを概説しており、2つのトラックを有する。1つは参照語りかけ検出（SAD）を用い、もう1つは生の音声から直接処理を行う。本チャレンジでは会話型電話音声や拡張された臨床記録を含む新規なデータドメインを導入し、NISTのスコアリングインfraストラクチャを活用する。コア評価セットとフル評価セットの両方で標準化された評価を実施し、詳細なシステム記述を通じて再現性を重視する。結果は2021年1月にオンラインで開催されるワークショップで発表される。

ABSTRACT

<pre>Evaluation plan for the the third DIHARD challenge.</pre>

研究の動機と目的

• 実世界の環境からの多様で困難な音声データセットを提供することで、スプーカー・ディアライゼーション研究の前進を図ること。
• 参照SADを用いたシステムと生の音声からのエンドツーエンド・ディアライゼーションの両方におけるシステム性能を評価すること。
• 標準化されたスコアリング、提出ガイドライン、および詳細なシステム記述を通じて、再現性と公準な比較を確保すること。
• 公開評価プラットフォームとオンライン・ワークショップを通じて、協働とベンチマーク評価を促進すること。
• 前回のチャレンジから範囲を拡大し、会話型電話音声と強化された臨床データを含めるが、ライセンスおよびドメイン固有の課題のため、子供の発話は除外する。

提案手法

• 本チャレンジは2つの評価トラックを採用する：トラック1ではディアライゼーション用に参照SADが提供されるが、トラック2ではシステム自身が生の音声からSADを実行する必要がある。
• 評価は2つのセットで実施される：バランスの取れたコア評価セットと、バランスの取れていないフル評価セット。両方とも、臨床、電話、放送、会議記録など多様なドメインから抽出されたものである。
• スコアリングはNISTがホストするWebインターフェースを用い、公式指標として、標準化されたスコアリングツールによって計算されるディアライゼーション・エラーレート（DER）とジョイントエラー・レート（JER）が使用される。
• 参加者はIEEEカンファレンス用テンプレートを用いてシステム記述を提出し、データリソース、アルゴリズム的コンponents、ハイパーパramータチューニング、ハードウェア要件を詳細に記述する必要がある。
• 評価には、Fisher英語フェーズ2収集から得た20時間の未公開の会話型電話音声と、4時間の新規臨床音声といった新規データソースが含まれる。
• すべての提出物はコア評価セットおよびフル評価セットの両方でスコアリングされ、結果は公開リーダーボードに表示され、システム記述にも報告される。

実験結果

リサーチクエスチョン

• RQ1 重なりのある発話や低品質な信号を伴う困難な実世界音声において、ディアライゼーションシステムの性能はいかがなっているか？
• RQ2 参照SADを用いるシステムと、SADをゼロから実行するシステムとの間の性能格差はどの程度か？
• RQ3 会話型電話音声と拡張された臨床記録の導入が、システムのロバストネスと一般化性能に与える影響は？
• RQ4 異なるデータリソースやモデルアーキテクチャが、ディアライゼーション性能の向上にどの程度寄与しているか？
• RQ5 バランスの取れた評価セットとバランスの取れていない評価セットを用いた場合、スコアリング指標の安定性と信頼性はどの程度か？

主な発見

• コア評価セットは、特定のデータタイプが優勢にならないよう、ドメイン間でバランスの取れた性能測定を保証する。
• フル評価セットはCLINICALおよびCTSドメインからの追加データを含むため、より大きな、より安定した指標ベースラインを提供するが、ドメインの不均衡を伴う。
• 本チャレンジでは会話型電話音声（20時間）と4時間の新規臨床記録が導入され、実世界の状況の多様性が拡大された。
• 登録、提出、スコアリング、リーダーボード表示に至るすべての評価活動は、一貫性と再現性を確保するため、NISTのOpenSATプラットフォームで管理される。
• システム記述には、ハードウェアおよびソフトウェアの詳細仕様が含まれており、トレーニングおよび推論環境の完全な再現性が可能となる。
• スコアリングは標準化されたツールを用い、DERおよびJERが計算され、コア評価セットおよびフル評価セットの両方で結果が報告される。