[論文レビュー] Speaker Diarization as a Fully Online Learning Problem in MiniVox

Baihan Lin, Xinxin Zhang|arXiv (Cornell University)|Jun 8, 2020

Advanced Bandit Algorithms Research参考文献 29被引用数 11

ひとこと要約

本論文は、事前学習やユーザー登録なしにリアルタイムで学習する完全オンラインのスピーカー・ディアライゼーションフレームワークを提案する。文脈的バンディットを用い、自己教師あり学習と半教師あり学習により、疎で一時的なフィードバックに対処する。無限のオンラインマルチスピーカー・ストリームを対象とするベンチマーク「MiniVox」を導入し、特にフィードバックが少ない状況でも頑健な性能を示し、p=0.01のフィードバック確率におけるMFCCベースの学習でもベースラインを上回る性能を発揮する。

ABSTRACT

We proposed a novel machine learning framework to conduct real-time multi-speaker diarization and recognition without prior registration and pretraining in a fully online learning setting. Our contributions are two-fold. First, we proposed a new benchmark to evaluate the rarely studied fully online speaker diarization problem. We built upon existing datasets of real world utterances to automatically curate MiniVox, an experimental environment which generates infinite configurations of continuous multi-speaker speech stream. Second, we considered the practical problem of online learning with episodically revealed rewards and introduced a solution based on semi-supervised and self-supervised learning methods. Additionally, we provided a workable web-based recognition system which interactively handles the cold start problem of new user's addition by transferring representations of old arms to new ones with an extendable contextual bandit. We demonstrated that our proposed method obtained robust performance in the online MiniVox framework.

研究の動機と目的

• 実世界の環境において、事前学習やユーザー登録が不可能な状況でスピークァー・ディアライゼーションシステムを導入するという実用的課題に対処すること。
• 報酬が一時的にのみ明らかられる状況を想定し、継続的に新しいスピークァーに適応可能な完全オンライン学習問題としてスピークァー・ディアライゼーションを定式化すること。
• 新規ユーザーの初期段階（コールドスタート）において、既存ユーザーからの知識を転移させ、データ要件を最小限に抑えるシステムを開発すること。
• 多様で継続的なマルチスピークァー・ストリーミング環境下でのオンライン・ディアライゼーションの評価を可能にする、スケーラブルなベンチマーク「MiniVox」を構築すること。
• 自己教師あり学習と半教師あり学習が、スピークァー・ディアライゼーションのオンライン学習環境において、フィードバックが疎な状況でどの程度有効であるかを調査すること。

提案手法

• スピークァー割り当てを行動として扱うオンライン意思決定をモデル化する文脈的バンディットフレームワーク（LinUCBおよびBerlinUCBに基づく）を提案する。
• ラベルなしエピソードに対して擬似行動を割り当てることで、ユーザーがフィードバックを提供しない場合でも報酬信号の伝搬を可能にする半教師あり学習部を導入する。
• 未ラベルデータに対して自己教師ありクラスタリング（例：K-means、GMM、KNN）を適用し、擬似報酬を生成することで、フィードバックが疎な状況でもモデルの更新効率を向上させる。
• 既存の「アーム」（スピークァー・プロファイル）からの表現転移を文脈的バンディットの拡張により活用し、コールドスタート時の新規ユーザーへの対応を可能にする。
• 実世界のデータセットを無限に長い、設定可能なオンライン音声ストリームに変換する合成ベンチマーク「MiniVox」を構築する。このストリームには、変動するスピークァー数とフィードバック確率が含まれる。
• 対照的損失に基づく埋め込み（MFCC、CNN）を適用し、オラクルと非オラクルの両方のフィードバック条件での性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 事前学習やユーザー登録なしに、完全オンライン学習問題としてスピークァー・ディアライゼーションを効果的に解決できるか？
• RQ2 半教師ありおよび自己教師あり手法は、オンライン・ディアライゼーションにおける疎で一時的なフィードバックに対し、どの程度有効か？
• RQ3 オンライン環境下で、既存のスピークァー・プロファイルからの知識を新規ユーザーにどの程度転移できるか？
• RQ4 フィードバック確率が低い状況（例：p=0.01）において、バンディットベースのオンライン・ディアライゼーションの性能は、教師ありベースラインと比べてどうか？
• RQ5 自己教師あり学習は、フィードバックが少ない状況や分布外の状況で性能を向上させるか？また、どのような条件下でその恩恵が最も顕著に現れるか？

主な発見

• p=0.01のフィードバック確率を想定したMFCCベースのMiniVoxベンチマークにおいて、提案された自己教師あり文脈的バンディットは、標準のBerlinUCBおよびベースラインモデルを上回り、MiniVox C20-MFCC-60kで92.31%の精度を達成した。
• BerlinUCBのバックボーンに基づくB-KNNおよびB-GMMの変種は、特に困難な状況でも優れた性能を示し、オラクルフィードバック下でMiniVox C20-MFCC-60kで95.19%の精度を記録した。
• フィードバックが少ない状況（p=0.1またはp=0.01）では、自己教師ありバージョンが標準のBerlinUCBを上回る性能を発揮し、フィードバックが疎な状況での価値を示した。
• ベンチマーク「MiniVox」により、スピークァー数やフィードバック確率の変動に応じた多様な設定において、オンライン・ディアライゼーションの安定した評価が可能となり、スケーラビリティを実証した。
• バンディットフィードバック設定の本質的な難易度にもかかわらず、提案手法は予想に反して頑健な性能を発揮し、完全な教師信号が欠如しているにもかかわらず、誤差率が著しく低かった。
• 結果から、自己教師あり学習は特に困難でフィードバックが少ない状況で最も効果的であり、バンディットのバックボーンからの効果的な報酬マッピングと組み合わせることでその恩恵が最大限に発揮されることが示された。