[論文レビュー] Weakly Supervised Multi-Embeddings Learning of Acoustic Models

Gabriel Synnaeve, Emmanuel Dupoux|arXiv (Cornell University)|Dec 20, 2014

Speech Recognition and Synthesis参考文献 11被引用数 6

ひとこと要約

本稿では、同じ／異なる語および同じ／異なる話者ラベルのみを用いて、音声と話者埋め込みを同時に学習する弱教師付きシアン方式ニューラルネットワークを提案する。Buckeyeコーパスのサブセットをマルチタスク損失関数で学習させることで、音素および話者識別両方のタスクで優れた性能を達成し、最小限の教師信号のもとで共有表現を効果的に学習可能であることを示した。また、埋め込み空間において話者アイデンティティは音素アイデンティティよりもはるかに疎且つ特異的に符号化されていることが明らかになった。

ABSTRACT

We trained a Siamese network with multi-task same/different information on a speech dataset, and found that it was possible to share a network for both tasks without a loss in performance. The first task was to discriminate between two same or different words, and the second was to discriminate between two same or different talkers.

研究の動機と目的

• 同じ／異なるラベルのみを用いた音声と話者埋め込みの共同学習が可能かどうかを調査すること。
• 共有シアン方式ネットワークアーキテクチャが、性能の低下を伴わずに音素識別および話者識別両方のタスクで性能を維持できるかどうかを評価すること。
• 隠れ層および埋め込み層における情報符号化の性質、特に音素アイデンティティと話者アイデンティティの両者に対する特化度を分析すること。
• このような埋め込みが、後続の音声認識タスクにおけるi-vectorの代替または補完として有効であるかどうかを評価すること。

提案手法

• 2つの並列ストリームで構成されるシアン方式ネットワークアーキテクチャを用い、11フレーム分のログメルフィルタバンク特徴を処理する。
• シグモイド活性化関数を用いた3層の隠れ層（各500ユニット）を経て、入力ごとに100次元の埋め込みを2つ出力する：1つは語のアイデンティティ（音素）用、もう1つは話者のアイデンティティ用。
• マルチタスク損失関数は、語と話者それぞれの同じ／異なる分類に基づくコサイン類似度損失を組み合わせ、2つの損失項の和で構成される。
• 損失関数はマージンベースのアプローチを採用：同じペアでは類似度の1 - cos(類似度)を最小化し、異なるペアではcos²(類似度)を最大化する。
• Adadelta最適化法を用い、学習率を動的に調整し、10%の開発セットを用いた早期停止を実施する。
• 情報符号化の分析には、各層のユニットにおけるクラス間分散とクラス内分散の比をF検定で評価し、ユニットを音素特化型、話者特化型、または二重特化型に分類する。

実験結果

リサーチクエスチョン

• RQ1 同じ／異なる語および話者ラベルのみを用いて、1つのシアン方式ネットワークが音声と話者埋め込みを効果的に学習できるか？
• RQ2 共同学習が、単一タスク学習と比較して各タスクの性能に与える影響はいかほどか？
• RQ3 隠れ層および埋め込み層における音素アイデンティティと話者アイデンティティの両者に対する特化度はどの程度か？
• RQ4 ネットワークの各層を通過するにあたり、符号化ユニットのスパarsityと分布はどのように変化するか？
• RQ5 学習された埋め込みが、音素識別や話者認証といった後続タスクに有効に活用できるか？

主な発見

• マルチタスクモデルは、音素識別および話者識別両方のタスクで優れた性能を達成し、単一タスクベースラインと比較して性能の低下が認められなかった。
• 話者識別性能は、フィルタバンクベースラインに比べてマルチタスク設定で向上しており、発話の音声的特徴が話者認識を支援していることが示された。
• 音素埋め込み層の性能は、85.1%のABX正答率を示す話者埋め込み層と比較して低く（64.8%のABX正答率）、現在の設定では音素符号化がやや脆弱である可能性を示唆している。
• 隠れ層の分析から、初期層は主に音素情報を符号化しており、後続層では話者特化型の符号化が増加し、二重符号化ユニットは減少した。
• 話者埋め込み層は極めてスパースかつ特異的な符号化を示した一方で、音素埋め込み層にはより多くの二重使用ユニットと特異性の低いユニットが存在し、話者変動による干渉が顕著に見られた。
• フィルタバンク係数の分析から、低周波数帯域は音声的コンテンツに対して感受性が高く、高周波数帯域は話者特性に対して感受性が高かった。