[論文レビュー] The History of Speech Recognition to the Year 2030

Awni Hannun|arXiv (Cornell University)|Jul 30, 2021

Speech Recognition and Synthesis参考文献 27被引用数 16

ひとこと要約

この論文は2020年から2030年の間の音声認識技術の進化を予測し、語誤り率（WER）の向上は鈍化するが、デバイス内でのパーソナライゼーション、エッジ推論、スパarsity、より洗練された出力表現分野で大きな進歩が見込まれると予測している。著者は、パーソナライゼーションと文脈に配慮したモデリングが、耐障害性に優れた汎用音声認識技術の残る障壁を克服する上で中心的役割を果たすと強調している。

ABSTRACT

The decade from 2010 to 2020 saw remarkable improvements in automatic speech recognition. Many people now use speech recognition on a daily basis, for example to perform voice search queries, send text messages, and interact with voice assistants like Amazon Alexa and Siri by Apple. Before 2010 most people rarely used speech recognition. Given the remarkable changes in the state of speech recognition over the previous decade, what can we expect over the coming decade? I attempt to forecast the state of speech recognition research and applications by the year 2030. While the changes to general speech recognition accuracy will not be as dramatic as in the previous decade, I suggest we have an exciting decade of progress in speech technology ahead of us.

研究の動機と目的

• 2020年から2030年までの自動音声認識（ASR）研究および応用分野の動向を予測すること。
• 今後10年間の音声技術を規定する主要な研究的・技術的シフトを特定すること。
• パーソナライゼーション、デバイス内学習、文脈モデリングが、精度向上を超えた進歩をどのように推進するかを検討すること。
• 現在のベンチマークの限界を評価し、人間を含むトランスクリプションシステムの将来の役割を検討すること。
• ボイスアシスタントの開発におけるボトル neck を評価し、将来の開発における言語理解の役割を評価すること。

提案手法

• 2010年から2020年の歴史的トレンド（特にディープラーニング、大規模データセット、GPUの高速化）を予測の基盤として用いる。
• リチャード・ハミングの予測手法の知見を応用し、実践的アプローチ、根本的理解、オープンマインドネスの重要性を強調する。
• 今後の進歩は語誤り率（WER）の向上に依存するのではなく、文脈モデリング、パーソナライゼーション、効率的なデバイス内推論に依存すると提言する。
• スパarsityと軽量モデルアーキテクチャが、デバイス内での学習と推論を可能にする重要な要因であると特定する。
• 対話や理解などの下流タスクを支援するため、より洗練されたグラフベースのモデル出力を推奨する。
• ベンチマーク（例：LibriSpeech、語誤り率が人間レベル未満）および事例研究（例：連絡先リストのパーソナライゼーションによりリCALLが2.4%から73.5%に向上）からの実証的証拠に依拠する。

実験結果

リサーチクエスチョン

• RQ1 2020年から2030年の間、音声認識分野で支配的となる研究的・応用的トレンドは何か？
• RQ2 パーソナライゼーションと文脈統合は、音声認識のパフォーマンスと使いやすさをどのように変革するか？
• RQ3 デバイス内での学習とスパarsityは、効率的でプライベートで適応可能な音声システムを実現するために果たす役割は何か？
• RQ4 2030年には、標準ベンチマークにおける語誤り率（WER）の向上がなぜ研究の優先課題ではなくなってくるのか？
• RQ5 ボイスアシスタントは現在の能力を超えてどのように進化するのか？その開発における主なボトル neck は何か？

主な発見

• 2030年までに、音声認識の推論の大部分がエッジで行われ、クラウドベースの処理への依存が低下する。
• 軽量モデルと弱い教師信号の活用により、デバイス内でのモデル学習が著しく一般的になる。
• スパarsityは、効率的なデバイス内推論および学習を可能にする重要な研究分野として浮上する。
• 短い孤立発話においてベイズ誤り率に近づきつつあるため、標準ベンチマークにおける語誤り率（WER）の向上は、研究の優先課題としての位置を失う。
• 音声認識システムは、対話や理解などの下流タスクを支援するため、構造的でグラフベースの表現を出力するようになる。
• パーソナライズドモデルは一般的になり、特に少数言語話者や言語障害を有する人々の認識精度が顕著に向上する。例として、言語障害のあるユーザーではパーソナライゼーションにより相対的に64%のWER低減が達成された。