[論文レビュー] Multi-task Learning Of Deep Neural Networks For Audio Visual Automatic Speech Recognition

Abhinav Thanda, Shankar M. Venkatesan|arXiv (Cornell University)|Jan 10, 2017

Speech and Audio Processing参考文献 19被引用数 15

ひとこと要約

本稿では、深層ニューラルネットワークを用いた音声・視覚自動音声認識（AV-ASR）のためのマルチタスク学習（MTL）フレームワークを提案する。主タスクは、統合された音声・視覚特徴を音声ラベルへマッピングするものであり、補助タスクは別個のGMM/HMMを用いて視覚特徴を視覚ラベルへマッピングする。MTLモデルは、-3 dB SNRでベースラインのDNN-HMMモデルに対して最大7.23%の相対的語誤り率（WER）改善を達成し、特に高ノイズ環境下での耐ノイズ性が向上する。

ABSTRACT

Multi-task learning (MTL) involves the simultaneous training of two or more related tasks over shared representations. In this work, we apply MTL to audio-visual automatic speech recognition(AV-ASR). Our primary task is to learn a mapping between audio-visual fused features and frame labels obtained from acoustic GMM/HMM model. This is combined with an auxiliary task which maps visual features to frame labels obtained from a separate visual GMM/HMM model. The MTL model is tested at various levels of babble noise and the results are compared with a base-line hybrid DNN-HMM AV-ASR model. Our results indicate that MTL is especially useful at higher level of noise. Compared to base-line, upto 7\% relative improvement in WER is reported at -3 SNR dB

研究の動機と目的

• 共有表現を活用することで、音声・視覚ASRにおける耐ノイズ性を向上させること。
• DNNを音声・視覚統合タスクと独立した視覚認識タスクの両方で学習させることで、一般化性能が向上するかどうかを調査すること。
• 従来のDNN-HMMシステムが劣化する低SNR環境において、MTLの有効性を評価すること。
• さまざまなノイズレベルにおいて、MTL-DNNの性能を標準的な単一タスク学習（STL）DNN-HMMベースラインと比較すること。
• 補助タスクの重み（λ）がモデル性能および一般化性能に与える影響を調査すること。

提案手法

• 主タスクは、音声データのGMM/HMMアライメントから導出されたフレームレベルラベルへ、音声・視覚統合特徴をマッピングするDNNを訓練する。
• 補助タスクは、音声なしデータで学習されたGMM/HMMから得られるフレームレベルラベルへ、視覚特徴（唇領域の64x64 DCT特徴）をマッピングする別個のDNNを訓練する。
• 両タスクに共通のDNNアーキテクチャを用い、組み合わせ損失関数を採用：$ C_{mtl} = C_{main} + \lambda C_{aux} $、ここで$ \lambda $は補助タスクの寄与度を制御する。
• 特徴量は正規化（平均および分散）され、音声・視覚特徴は連結によって統合され、共通DNNへの入力として使用される。
• 訓練にはミニバッチ確率的勾配降下法を用い、検証精度の向上に基づいて学習率を段階的に低下させる。
• テスト時、主タスクの出力のみが使用される。アブレーション実験では視覚モダリティを抑制して、モダリティ効果を分離する。

実験結果

リサーチクエスチョン

• RQ1 視覚のみの補助タスクを用いたマルチタスク学習が、特にノイズ環境下で音声・視覚ASRの語誤り率（WER）を改善するか？
• RQ2 補助タスクの相対的重み（λ）が、主タスクの音声・視覚認識性能に与える影響は？
• RQ3 MTLは、低SNR環境下で単一タスク学習（STL）と比較して過学習を低減し、一般化性能を向上させるか？
• RQ4 視覚特徴のみを使用する場合、MTLの性能はSTLと比べてどうなるか？
• RQ5 特徴統合レベル（低レベル対中レベル）が、AV-ASRにおけるMTLの有効性に与える影響は？

主な発見

• -3 dB SNRで、λ=0.3のMTL-DNNは、STL-DNNベースラインに対して7.23%の相対的WER改善（27.1%から25.14%）を達成した。
• 0 dB SNRでも、λ=0.3のMTL-DNNはベースライン比で7.4%の相対的WER低減を示し、顕著な耐ノイズ性の向上を示した。
• λ=0.3のMTL-DNNは、音声を抑制した純粋なリップリーディング（唇読み）でも、STL-DNNより3%の相対的WER改善を達成し、より優れた視覚特徴学習を示した。
• λ=0.1のモデルは、-3 dB SNRで僅か1.6%の相対的改善にとどまり、正則化強度が最適でないことが示唆された。
• クリアな音声条件下では、STL-DNNがわずかにMTL-DNNを上回った。これは、低ノイズ環境下で補助タスクによる過学習または干渉の可能性を示唆している。
• λを0.3を超えて増加させると性能が低下した。これは、正則化と主タスク最適化の間のトレードオフを示している。