[論文レビュー] Knowing What to Listen to: Early Attention for Deep Speech Representation Learning.

Amirhossein Hajavi, Ali Etemad|arXiv (Cornell University)|Sep 3, 2020

Speech Recognition and Synthesis参考文献 34被引用数 7

ひとこと要約

本論文では、音声信号の個々の周波数チャンネルに注目できるようにする、新しい注目メカニズムである細分化早期周波数注目（FEFA）を提案する。FEFAをCNNバックボーンに統合することで、VoxCelebおよびIEMOCAPデータセットにおいて、話者認識タスクで最先端の性能を達成し、ノイズ環境下でも高いロバスト性を示す。

ABSTRACT

Deep learning techniques have considerably improved speech processing in recent years. Speech representations extracted by deep learning models are being used in a wide range of tasks such as speech recognition, speaker recognition, and speech emotion recognition. Attention models play an important role in improving deep learning models. However current attention mechanisms are unable to attend to fine-grained information items. In this paper we propose the novel Fine-grained Early Frequency Attention (FEFA) for speech signals. This model is capable of focusing on information items as small as frequency bins. We evaluate the proposed model on two popular tasks of speaker recognition and speech emotion recognition. Two widely used public datasets, VoxCeleb and IEMOCAP, are used for our experiments. The model is implemented on top of several prominent deep models as backbone networks to evaluate its impact on performance compared to the original networks and other related work. Our experiments show that by adding FEFA to different CNN architectures, performance is consistently improved by substantial margins, even setting a new state-of-the-art for the speaker recognition task. We also tested our model against different levels of added noise showing improvements in robustness and less sensitivity compared to the backbone networks.

研究の動機と目的

• 既存の注目メカニズムが音声信号の細分化された周波数レベル特徴に注目する能力に制限があることに対処すること。
• 話者認識や音声感情認識などの音声表現学習タスクにおける深層学習モデルの性能を向上させること。
• 周波数成分への早期かつ細分化された注目を可能にすることで、ノイズに対するモデルのロバスト性を向上させること。
• 複数のCNNアーキテクチャおよびベンチマークデータセット上でFEFAを評価し、一貫した性能向上を示すこと。

提案手法

• FEFAは、ネットワークの初期段階で個々の周波数チャンネルに注目できるように設計されており、周波数的詳細への細分化された注目を可能にする。
• 注目メカニズムは、CNNバックボーンの入力部または初期畳み込み層に軽量モジュールとして統合される。
• 入力スペクトログラムから得られるクエリ、キー、バリューの投影を用いて、周波数チャンネルごとの注目重みを計算する。
• 微分可能でエンド・トゥ・エンドで訓練可能であり、バックボーンネットワークと共同最適化が可能である。
• 一般化性能と性能向上を評価するため、複数のアーキテクチャ（例：ResNet、DenseNet）でFEFAを評価する。
• VoxCelebおよびIEMOCAPでモデルを訓練・評価し、ノイズ耐性に関するアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 注目メカニズムは、粗い時間的またはチャネルレベルの特徴ではなく、個々の周波数チャンネルに注目できるように適合させられるか？
• RQ2 周波数成分への早期かつ細分化された注目は、話者認識および感情認識タスクの性能を向上させるか？
• RQ3 FEFAは、さまざまなレベルの背景ノイズ下でモデルのロバスト性をどのように向上させるか？
• RQ4 FEFAは、多様なCNNアーキテクチャおよびデータセットにおいて一貫して性能を向上させることができるか？

主な発見

• FEFAは、話者認識および音声感情認識タスクにおいて、複数のCNNアーキテクチャで一貫した性能向上を達成する。
• VoxCeleb話者認識ベンチマークで、新たな最先端性能を達成する。
• FEFAはノイズ環境下でも優れたロバスト性を示し、バックボーンネットワークと比較して性能低下が顕著に小さい。
• 強力なベースラインモデルに適用しても、FEFAの統合により顕著な性能向上が得られる。