[論文レビュー] LCANet: End-to-End Lipreading with Cascaded Attention-CTC

Kai Xu, Dawei Li+2 more|arXiv (Cornell University)|Mar 13, 2018

Speech and Audio Processing被引用数 6

ひとこと要約

LCANet は、標準的な CTC の条件付き独立性の制限を克服するため、段階的なアテンション-CTCデコーダを用いたエンドツーエンドの唇読み取りモデルを提案する。3D-CNN、ハイウェイネットワーク、双方向GRUを組み合わせて、空間的・時間的特徴を抽出する。GRIDデータセットでは1.3%のCERおよび2.9%のWERを達成し、先行研究のSOTA手法比で相対的に12.3%の改善を示した。

ABSTRACT

Machine lipreading is a special type of automatic speech recognition (ASR) which transcribes human speech by visually interpreting the movement of related face regions including lips, face, and tongue. Recently, deep neural network based lipreading methods show great potential and have exceeded the accuracy of experienced human lipreaders in some benchmark datasets. However, lipreading is still far from being solved, and existing methods tend to have high error rates on the wild data. In this paper, we propose LCANet, an end-to-end deep neural network based lipreading system. LCANet encodes input video frames using a stacked 3D convolutional neural network (CNN), highway network and bidirectional GRU network. The encoder effectively captures both short-term and long-term spatio-temporal information. More importantly, LCANet incorporates a cascaded attention-CTC decoder to generate output texts. By cascading CTC with attention, it partially eliminates the defect of the conditional independence assumption of CTC within the hidden neural layers, and this yields notably performance improvement as well as faster convergence. The experimental results show the proposed system achieves a 1.3% CER and 3.0% WER on the GRID corpus database, leading to a 12.3% improvement compared to the state-of-the-art methods.

研究の動機と目的

• 標準的な CTC が出力記号間の条件付き独立性を仮定するという制限を解消すること。
• 長距離の文脈モデリングを統合することで、困難な現実世界の唇読み取りデータに対する性能を向上させること。
• ハイブリッドアテンション-CTCデコーディング機構により、学習の収束を加速すること。
• 人間や標準的なモデルが困難に感じるビズムレベルの違いを、段階的なアテンション-CTC が効果的にモデル化できることを示すこと。
• ベンチマークデータセットで人間の唇読み取り者を上回る、堅牢なエンドツーエンドの視覚のみの唇読み取りシステムを提供すること。

提案手法

• エンコーダは、動画フレームから空間的・時間的特徴を抽出するためにスタックされた3次元畳み込みニューラルネットワーク（3D-CNN）を用いる。
• 3D-CNNの上にハイウェイネットワーク層をスタックすることで、勾配の流れを改善し、より深いネットワークの学習を可能にする。
• 双方向GRUを適用して、前向きおよび後向きの時間的方向の長期依存関係を捉える。
• 段階的なアテンション-CTCデコーダは、関連するエンコーダ状態に注目するアテンション機構を用い、CTCの局所的注目性を軽減し、条件付き独立性への依存を低減する。
• デコーダは、モノトニックなアライメントをガイドする単一のCTC損失で訓練され、アテンションは文脈モデリングを強化する。
• 音声を含まず、アラインメント済みの顔クロップ画像からのみ視覚入力でエンドツーエンドに訓練される。

実験結果

リサーチクエスチョン

• RQ1 段階的なアテンション-CTCデコーダは、CTCの条件付き独立性仮定の影響を軽減することで、エンドツーエンドの唇読み取り性能を向上させることができるか？
• RQ2 ハイウェイネットワークと双方向GRUの統合は、唇読み取りモデルにおける特徴表現にどのような影響を与えるか？
• RQ3 提案されたアーキテクチャは、標準的なCTCやアテンションオンリーモデルと比較して、より速く収束するか？
• RQ4 モデルは、/p/ と /b/ のような視覚的に類似したビズムの間の誤分類をどの程度低減できるか？
• RQ5 アテンションによる長距離時間的文脈を活用することで、モデルは野生のデータにより一般化しやすいか？

主な発見

• LCANet は、GRIDコーパスで1.3%の文字誤り率（CER）および2.9%の単語誤り率（WER）を達成し、以前のSOTA手法比で相対的に12.3%の改善を示した。
• LipNetと比較して、収束が著しく速く、訓練エポック14、検証エポック20で損失が4に達したのに対し、LipNetはそれぞれ38および40で同様の損失に到達した。
• ハイウェイネットワークの導入により、CERが0.4%、WERが1.1%改善された。
• アテンション機構を除去すると、性能が著しく低下し、長期依存関係のモデリングにおけるその重要性が確認された。
• 段階的なアテンション-CTCモデルは、純粋なCTCや純粋なアテンションベースのモデルを上回り、両メカニズムの組み合わせによる利点を示した。
• 誤分類マトリクスから、モデルが類似するビズム間の誤分類を効果的に低減しており、特にビズムクラス V と D の間でのわずかな不確実性を除き、微細な唇の動きの識別が強いことが示された。