[論文レビュー] Neural Model Reprogramming with Similarity Based Mapping for Low-Resource Spoken Command Recognition

Hao Yen, Pin-Jui Ku+5 more|arXiv (Cornell University)|Oct 8, 2021

Speech Recognition and Synthesis参考文献 48被引用数 5

ひとこと要約

本論文は、ラベル類似度マッピングとトランスファー学習を活用して、大規模な英語音声モデルを低リソース言語（リトアニア語、アラビア語、自己制御不能な中国語）に適応させる、低リソーススプokenコマンド認識（SCR）のための画期的な敵対的再プログラミング（AR）フレームワークを提案する。本手法は最小限のラベル付きデータで最先端の性能を達成し、自己制御不能な中国語では最大28.59%の精度向上を達成し、アラビア語では98.9%の精度を記録する一方で、高い安定性を維持している。

ABSTRACT

In this study, we propose a novel adversarial reprogramming (AR) approach for low-resource spoken command recognition (SCR), and build an AR-SCR system. The AR procedure aims to modify the acoustic signals (from the target domain) to repurpose a pretrained SCR model (from the source domain). To solve the label mismatches between source and target domains, and further improve the stability of AR, we propose a novel similarity-based label mapping technique to align classes. In addition, the transfer learning (TL) technique is combined with the original AR process to improve the model adaptation capability. We evaluate the proposed AR-SCR system on three low-resource SCR datasets, including Arabic, Lithuanian, and dysarthric Mandarin speech. Experimental results show that with a pretrained AM trained on a large-scale English dataset, the proposed AR-SCR system outperforms the current state-of-the-art results on Arabic and Lithuanian speech commands datasets, with only a limited amount of training data.

研究の動機と目的

• ラベル付き学習データが乏しい低リソーススプokenコマンド認識の課題に対処すること。
• 完全な再トレーニングを伴わずに、事前学習済みの英語音声モデルを低リソースのターゲット言語に効果的に適応できること。
• 新しいラベル整合化とトランスファー学習の統合により、低データ環境下でのモデルの安定性と性能を向上させること。
• 敵対的再プログラミングがコンピュータビジョンを越えて音声認識分野に効果的に適用可能かどうかを検証すること。
• データ拡張とトランスファー学習を組み合わせることで、ARの柔軟性を実証すること。

提案手法

• 入力音声信号にトレーニング可能なノイズを追加する再プログラミング層を導入し、ターゲットドメイン認識に適合させる。
• ソース（英語）とターゲット（リトアニア語、アラビア語など）のクラス分布を一致させるために、類似度ベースのラベルマッピング技術を採用し、ラベルの一貫性を向上させる。
• 敵対的再プログラミングとトランスファー学習を統合し、ARによって生成された信号上で事前学習済み音声モデルをファインチューニングする。
• 二段階トレーニングプロセスを採用：まず再プログラミング層を、モデルが出力する予測を正しくターゲット予測へ誘導するノイズを生成するように訓練し、次に再プログラミング済みデータ上で音声モデルをファインチューニングする。
• さらに頑健性と性能を向上させるために、トレーニング中にSpecAugmentをデータ拡張として適用する。
• 意味的に類似するソースラベルの集合を用いて、ソースモデルの予測確率をターゲットクラスにマッピングする。

実験結果

リサーチクエスチョン

• RQ1 敵対的再プログラミングは、低リソーススプokenコマンド認識タスクに効果的に適用可能か？
• RQ2 類似度ベースのラベルマッピングは、低リソースSCRにおけるソースとターゲットのクラス空間間の整合性をどのように向上させるか？
• RQ3 敵対的再プログラミングとトランスファー学習を組み合わせることで、単体の手法よりも高い性能と安定性が得られるか？
• RQ4 敵対的再プログラミングをデータ拡張と効果的に組み合わせることで、低データ環境下でのモデル性能をさらに向上させられるか？
• RQ5 提案されたAR-SCRシステムは、低リソース音声コマンドデータセットにおいて最先端の手法と比較してどのように差をつけるか？

主な発見

• リトアニア語音声コマンドデータセットでは、AR+TLシステムがキーワード1つあたり3サンプルで70.2%の精度を達成し、Baseline+Aug（39.5%）とTL+Aug（65.9%）を上回り、標準偏差±2.72という低いばらつきを示した。
• 自己制御不能な中国語データセットでは、AR+TLが82.3%の精度を記録し、ベースライン比で28.59%の相対的向上を達成し、標準偏差±2.56という高い安定性を示した。
• アラビア語データセットでは、AR+TLが98.9%の精度を達成し、最先端手法（98.13%）を上回り、個別のAR（94.8%）やTL（98.6%）の各コンponentをも上回った。
• 類似度ベースのラベルマッピングは、特に低リソース環境下で、ドメイン間の意味的に関連するクラスを一致させることで、性能を顕著に向上させた。
• ARとデータ拡張（SpecAugment）の統合により、モデルの頑健性がさらに向上し、ばらつきが低減した。これにより、本手法の柔軟性とスケーラビリティが実証された。
• 再プログラミング層に16kパラメータしか使用しないにもかかわらず、AR-SCRシステムはアラビア語、リトアニア語、自己制御不能な中国語の3つの低リソースデータセットすべてで最先端の性能を達成した。