[論文レビュー] Deep factorization for speech signal

Lantian Li, Dong Wang+4 more|arXiv (Cornell University)|Feb 27, 2018

Speech and Audio Processing被引用数 5

ひとこと要約

本論文は、深層ニューラルネットワークを用いて、逐次的に音声信号を言語的コンテンツ、話者特性、感情といった個別のタスク指向要因に分解する、段階的深層因子分解（CDF）フレームワークを提案する。後続の要因推定を事前に推定された要因に条件づけることで、音声スペクトルの高精細再構成が達成され、感情認識および話者認識タスクにおける性能が顕著に向上する。

ABSTRACT

Various informative factors mixed in speech signals, leading to great difficulty when decoding any of the factors. An intuitive idea is to factorize each speech frame into individual informative factors, though it turns out to be highly difficult. Recently, we found that speaker traits, which were assumed to be long-term distributional properties, are actually short-time patterns, and can be learned by a carefully designed deep neural network (DNN). This discovery motivated a cascade deep factorization (CDF) framework that will be presented in this paper. The proposed framework infers speech factors in a sequential way, where factors previously inferred are used as conditional variables when inferring other factors. We will show that this approach can effectively factorize speech signals, and using these factors, the original speech spectrum can be recovered with a high accuracy. This factorization and reconstruction approach provides potential values for many speech processing tasks, e.g., speaker recognition and emotion recognition, as will be demonstrated in the paper.

研究の動機と目的

• 音声信号に混合して含まれる話者アイデンティティ、感情、言語的コンテンツといった情報的要因の混合に起因する課題に対処すること。
• 要因の混合が複雑であるにもかかわらず、フレーム単位で音声信号を効果的に因子に分解できるかどうかを調査すること。
• 主な要因の条件付き推定を活用することで、感情認識などの低データ量または困難な音声処理タスクの性能を向上させること。
• 因子に分解された成分から元の音声スペクトルを高精度に再構成できることを実証し、因子分解による情報保持の有効性を検証すること。

提案手法

• CDFフレームワークは、要因を段階的なカスケードで推定する：まず、ASRシステムを用いて電話ポスタリオリを生成することで、言語的コンテンツを抽出する。
• 得られた言語的要因を条件付き入力として用い、CT-DNNアーキテクチャを用いてフレームレベルの話者特徴を生成する話者認識システム（SRE）を訓練する。
• 得られた言語的要因と話者要因を連結し、その入力をDNNに与えてフレームレベルの感情ポスタリオリを推定する。
• 段階的畳み込みモデルを用いて、3種類の要因タイプから元の音声スペクトルを再構成し、トレーニングには平均二乗誤差損失を用いる。
• 各要因が事前に推定された要因に基づいて推定される条件付きモデリングアプローチを採用することで、不確実性を低減する。
• CT-DNN構造は、畳み込み層とタイムディレイ層を組み合わせ、Pノルムプーリングを用いて特徴抽出することで、判別性が高く短時間の話者特徴を抽出する。

実験結果

リサーチクエスチョン

• RQ1 フレーム単位で、言語的要因、話者要因、感情要因といった個別の情報的要因に音声信号を効果的に因子分解できるか？
• RQ2 より顕著な要因（例：話者、言語的コンテンツ）に条件づけて、顕在性が低い要因（例：感情）を推定することで性能が向上するか？
• RQ3 因子に分解された成分から、元の音声スペクトルをどの程度高精度に再構成できるか？
• RQ4 感情認識および話者認識タスクにおいて、CDFアプローチはベースライン手法と比較してどの程度優れているか？
• RQ5 複雑な音声要因分解において、独立的因子分解やエンドツーエンド学習と比較して、段階的推定戦略はより効果的か？

主な発見

• 言語的要因と話者要因を条件付き入力として用いた場合、感情認識タスクでフレームレベルの正確度が94.59%、マクロ平均適合率（MAP）が92.98%に達した。
• 評価セットでは、両条件付き入力を用いたCDFモデルがフレームレベルの正確度27.32%、MAP 29.42%を達成し、ベースラインの23.39%および21.08%を顕著に上回った。
• バリデーションセットではスペクトル再構成損失が15,285.70から192.50に低下し、評価損失は196.56に達した。これは高い再構成忠実度を示している。
• 聴取テストの結果、再構成された音声が元の音声とほとんど区別できず、情報保持の有効性が確認された。
• 感情認識タスクにおいて、話者要因が言語的要因よりも性能向上に寄与していたことから、話者特性が強力な条件付き事前分布であることが示唆された。
• 8 kHz音声を用いても16 kHz音声を用いたMEEC 2016ベースラインを上回る性能を達成したため、CDFフレームワークは耐障害性と有効性を示した。