[論文レビュー] AutoSpeech: Neural Architecture Search for Speaker Recognition

Shaojin Ding, Tianlong Chen+3 more|arXiv (Cornell University)|May 7, 2020

Speech Recognition and Synthesis参考文献 37被引用数 14

ひとこと要約

本論文は、話者認識に最適な畳み込みニューラルネットワーク（CNN）アーキテクチャを自動で発見する神経ネットワークアーキテクチャ探索（NAS）フレームワークであるAutoSpeechを提案する。最適なニューラルセルを探索し、それを繰り返し積み重ねてモデルを構築することで、話者識別および話者認証の両面でVoxCeleb1で最先端の性能を達成し、VGG-M、ResNet-18、ResNet-34を上回るが、パラメータ数を大幅に削減している。

ABSTRACT

Speaker recognition systems based on Convolutional Neural Networks (CNNs) are often built with off-the-shelf backbones such as VGG-Net or ResNet. However, these backbones were originally proposed for image classification, and therefore may not be naturally fit for speaker recognition. Due to the prohibitive complexity of manually exploring the design space, we propose the first neural architecture search approach approach for the speaker recognition tasks, named as AutoSpeech. Our algorithm first identifies the optimal operation combination in a neural cell and then derives a CNN model by stacking the neural cell for multiple times. The final speaker recognition model can be obtained by training the derived CNN model through the standard scheme. To evaluate the proposed approach, we conduct experiments on both speaker identification and speaker verification tasks using the VoxCeleb1 dataset. Results demonstrate that the derived CNN architectures from the proposed approach significantly outperform current speaker recognition systems based on VGG-M, ResNet-18, and ResNet-34 back-bones, while enjoying lower model complexity.

研究の動機と目的

• 画像分類を目的として設計されたVGG-M や ResNet といった既成品のCNNバックボーンが、話者認識において性能が劣っているという問題に対処するため。
• テキストに依存しない話者認識タスクに特化した最適なCNNアーキテクチャの自動探索を実現するため。
• 話者認識のための膨大なニューラルアーキテクチャ空間を手動で探索する作業を削減するため。
• モデルの複雑さを最小限に抑えながら、話者識別および話者認証の両方の性能を向上させるため。

提案手法

• 本手法は、さまざまな演算（例：深度可分畳み込み、プーリング、スキップ接続など）を含む最適なニューラルセルを探索する微分可能NASアプローチを用いる。
• 探索プロセスでは、VoxCeleb1のバリデーションセットを用いてアーキテクチャを最適化し、微分可能な探索空間と重み共有を活用して学習を高速化する。
• 探索されたニューラルセルを複数回積み重ねることで最終的なCNNモデルを構築し、深さ（セルの数）と幅（初期チャネル数）を設定可能にしている。
• 得られたモデルは、d-vector抽出およびコサイン類似度スコアリングを含む標準的な話者認識の学習プロトコルに従って訓練される。
• 探索空間には、3×3および5×5の深度可分畳み込み、マックスプーリング、アベレージプーリング、スキップ接続などの演算が含まれる。
• 最終的なモデルは、Adam最適化手法、重み減衰3×10⁻⁴、および約1日間の1GPU上でのコサイン学習率スケジューリングを用いて訓練される。

実験結果

リサーチクエスチョン

• RQ1 神経ネットワークアーキテクチャ探索フレームワークは、VGG-M、ResNet-18、ResNet-34といった標準的なバックボーンを上回る性能を発揮するCNNアーキテクチャを発見できるか？
• RQ2 提案されたAutoSpeech手法は、従来の手作業で設計されたモデルと比較して、より低いモデル複雑性で優れた性能を達成できるか？
• RQ3 アーキテクチャのスケーリングにおいて、セルの数を増やすのとチャネル数を増やすのとでは、どちらが効果的か？
• RQ4 探索されたアーキテクチャは、話者識別および話者認証の両タスクでどのように性能を発揮するか？

主な発見

• 8セル、128の初期チャネルを有するAutoSpeech由来のモデルは、話者識別においてトップ1正答率87.66%、トップ5正答率96.01%を達成し、すべてのベースラインを上回った。
• 話者認証では、同じモデルが等誤差率（EER）8.95%を達成し、ResNet-34を3.04ポイント上回りながら、わずか1800万パラメータで実現した。
• 軽量モデル（8セル、64チャネル）は、ResNet-34をトップ1正答率で3.11ポイント、EERで2.86ポイント上回ったが、パラメータ数はわずか500万にとどまった。
• パラメータ数をほぼ同等に保ったまま、セルの数を増やす（N=30、C=64）のではなく、チャネル数を増やす（N=8、C=128）ことで性能向上がより顕著に得られた。
• すべてのAutoSpeechモデルが、話者識別および話者認証の両タスクでベースラインモデル（VGG-M、ResNet-18、ResNet-34）を上回り、NASが話者認識に有効であることを示した。
• 探索プロセスにより、深度可分畳み込み、プーリング、スキップ接続を組み合わせたニューラルセルが、話者埋め込み学習の最適な構成であると特定された。