[論文レビュー] Multilayer bootstrap network for unsupervised speaker recognition

Xiao-Lei Zhang|arXiv (Cornell University)|Sep 21, 2015

Speech and Audio Processing参考文献 15被引用数 3

ひとこと要約

本稿では、普遍背景モデル（UBM）からの高次元的スーパーベクトルを非線形次元削減により低次元空間に縮小し、その後クラスタリングを実行する、マルチレイヤーブートストラップネットワーク（MBN）を用いた教師なし話者認識手法を提案する。この手法は、教師ありPCAおよびk-means手法を上回り、教師ありLDAの性能に近づく。また、UBMおよびMBNのハイパーパrameter設定に対して高いロバスト性を示す。

ABSTRACT

We apply multilayer bootstrap network (MBN), a recent proposed unsupervised learning method, to unsupervised speaker recognition. The proposed method first extracts supervectors from an unsupervised universal background model, then reduces the dimension of the high-dimensional supervectors by multilayer bootstrap network, and finally conducts unsupervised speaker recognition by clustering the low-dimensional data. The comparison results with 2 unsupervised and 1 supervised speaker recognition techniques demonstrate the effectiveness and robustness of the proposed method.

研究の動機と目的

• 手動ラベル付き学習データを必要としない教師なし話者認識手法の開発を目的とする。
• 手動ラベルなし、最小限のハイパーパrameterチューニング、および異なるデータおよびモデリング条件においてもロバストであるという厳しい条件下での教師なし話者認識の課題に取り組むことを目的とする。
• 話者認識タスクにおける従来の教師なし手法（PCAおよびk-meansクラスタリング）を上回る性能を実現することを目的とする。
• マルチレイヤーブートストラップネットワーク（MBN）が高次元的スーパーベクトルの次元削減に与える有効性とロバスト性を評価することを目的とする。

提案手法

• まず、MFCC特徴量上で訓練された教師なし普遍背景モデル（UBM）からd次元のスーパーベクトルを抽出する。
• 次に、層ごとの非線形次元削減プロセスを経て、スーパーベクトルの次元をdからより低い次元d̄（d̄ ≪ d）に削減する目的でマルチレイヤーブートストラップネットワーク（MBN）を適用する。
• 各MBN隠れ層では、特徴量のランダムに選択されたスパースなサブセットに対してkセンタークラスタリングを実行し、各クラスタリングの出力を連結して次の層の入力とする。
• MBNの学習には、ランダムな特徴選択（a = d̂/dで制御）、ランダムな中心初期化（k）、巡回シフトによる再構成（r = d′/d̂）、および最近傍探索によるスパース表現が用いられる。
• 最後に、話者の数が既知かどうかに応じて、低次元MBN出力に対してk-meansまたは階層的クラスタリングを適用して話者を特定する。
• 本手法の評価には、正規化相互情報量（NMI）および分類精度を用い、PCA、k-means、LDAベースのシステムと比較する。

実験結果

リサーチクエスチョン

• RQ1 MBNベースの手法は、手動ラベル付き学習データを一切必要とせずに、高い話者認識性能を達成できるか？
• RQ2 MBNベースの手法は、PCAおよびk-meansといった教師なしベースライン手法と比較して、クラスタリング精度およびロバスト性においてどのように異なるか？
• RQ3 UBMハイパーパrameter（混合モデル数やEM反復回数）の変動に対して、MBNベースの手法はどの程度ロバストか？
• RQ4 MBN隠れ層の数を増加させることで、最終的な話者認識性能にどのような影響が生じるか？

主な発見

• MBNベースの手法は、全テストUBM設定において、教師なしPCAおよびk-meansクラスタリング手法を上回り、より高い正規化相互情報量（NMI）スコアを達成した。
• 特に最適な設定下では、教師ありLDAベースのシステムの性能に近づくことができ、教師なし話者認識において極めて有効であることが示された。
• PCAやk-meansと比較して、UBM混合モデル数やEM反復回数の変動に対して、MBNベースの手法は著しく感受性が低く、優れたロバスト性を示した。
• MBN隠れ層の数を増やすことで、認識精度は一貫して向上し、5層まで性能が着実に向上した。
• 本手法は、さまざまな出力次元においても高い性能を維持しており、特にUBMパラメータおよび次元パラメータに対して、PCAやk-meansと比較して強い感受性を示さないという点で、ハイパーパラメータ設定に対して非常にロバストである。
• PCAおよびMBNを用いた可視化結果から、MBNは特に劣悪なUBM条件（例：EM反復回数0）下でも、よりコンパクトで明確に分離された話者クラスタを生成することが分かった。