[論文レビュー] Towards Learning Fine-Grained Disentangled Representations from Speech

Yuan Gong, Christian Poellabauer|arXiv (Cornell University)|Aug 8, 2018

Speech Recognition and Synthesis参考文献 17被引用数 3

ひとこと要約

本稿では、潜在表現における意図しない情報のペナルティを与える要因固有の予測器を備えた複数のオートエナボーダーを訓練することにより、教師あり手法として、音声からの細分化・分離可能な表現を学習する手法を提案する。真のラベルではなく予測の信頼度を正則化項として用いることで、データセットに完全なアノテーションが存在しない場合でも、感情、性別、内容といった複数の音声要因における分離が可能となる。

ABSTRACT

Learning disentangled representations of high-dimensional data is currently an active research area. However, compared to the field of computer vision, less work has been done for speech processing. In this paper, we provide a review of two representative efforts on this topic and propose the novel concept of fine-grained disentangled speech representation learning.

研究の動機と目的

• 音声処理における解釈可能性および下流タスクの性能向上に不可欠な、細分化された分離可能な表現の不足を是正すること。
• 複数の要因（例：感情と発話者識別）を1つの潜在変数にまとめる粗い分離手法の限界を克服すること。
• 弱いアノテーションが与えられたデータセットを用いて、複数の独立した音声要因（例：内容、感情、性別、年齢）を分離可能なスケーラブルなフレームワークを開発すること。
• すべての要因について完全なアノテーションが得られない低リソース環境でも分離を可能にする。

提案手法

• [7]で提示された敵対的分離フレームワークを複数の要因に拡張し、各要因を1つずつターゲットとするn個の別々のオートエナボーダーを訓練する。
• 各オートエナボーダーに対して、他のn−1個の要因を潜在表現から分類する補助予測器を訓練し、関係のない要因の予測信頼度を最小化することで、分離を強制する。
• 予測信頼度損失の最小値（ハイパーパrameter λj でスケーリング）をオートエナボーダーの目的関数の正則化項として用いる：Li = Lrec − minj≠i(λjLij)。
• 訓練中に真のラベルの代わりに予測の信頼度（例：max P(yk|z)）をサーヴェイタスラベルとして用いることで、完全なアノテーションが欠落しているデータセットの利用が可能になる。
• 真のラベルの代わりに予測ラベルをデコーダーに供給することで、エンコーダーが除去した情報を補償する。
• オートエナボーダーと予測器の訓練を交互に繰り返し、潜在表現が不要な要因に対して頑健になる一方で、ターゲット要因を保持するようにする。

実験結果

リサーチクエスチョン

• RQ1 データセット全体のすべての要因について完全なアノテーションがなくても、音声要因（例：内容、感情、性別、年齢）の細分化された分離可能な表現を学習可能か？
• RQ2 完全なラベル監視に依存しない教師ありフレームワークを用いて、複数の独立した音声要因における分離をどのように達成できるか？
• RQ3 完全なアノテーションが欠落している状況下で、真のラベルの代わりに予測の信頼度を正則化項として用いる影響は何か？
• RQ4 複数の弱いアノテーションが与えられたデータセットを統合し、共通の要因固有のオートエナボーダー・フレームワークを用いて分離可能な表現を学習可能か？

主な発見

• 提案手法は、予測の信頼度を正則化項として用いることで、部分的なアノテーションのみで複数の音声要因（例：内容、感情、性別）の分離を実現可能である。
• 信頼度に基づく正則化の導入により、除去された要因の真のラベルがなくても訓練が可能となり、限られたアノテーションしか得られない実世界のデータセットに適用可能である。
• 先行研究[7]から二要因分離（内容対発話者）から、言語的および副言語的特徴にわたる多要因分離に一般化した。
• 予測ラベルをデコーダーに供給することで、エンコーダーが除去した情報を補償し、再構成品質を維持する。
• 本手法は複数の要因にスケーラブルであり、共通の音声要因を共有する多様なデータセットに適用可能で、アノテーションが不完全であっても有効である。
• 実験的評価により、学習された表現が分離可能で解釈可能であることが示され、音声合成や認識などの下流タスクの性能向上に寄与する可能性を有する。