[論文レビュー] Pseudo-Convolutional Policy Gradient for Sequence-to-Sequence Lip-Reading

Mingshuang Luo, Shuang Yang+2 more|arXiv (Cornell University)|Mar 9, 2020

Speech and Audio Processing参考文献 25被引用数 7

ひとこと要約

本論文は、文字誤り率（CER）を強化学習の報酬として統合し、報酬および損失計算における時間的文脈を向上させるための擬似畳み込み演算を適用することにより、露出バイアスと損失-評価指標の不一致を軽減するための擬似畳み込み的方策勾配（PCPG）手法を提案する。この手法は、GRID、LRW、LRW-1000ベンチマークで最先端または競争力ある性能を達成しており、ビームサーチを用いたGRIDでは11.2%のWER、LRW-1000では33.1%の精度を達成している。

ABSTRACT

Lip-reading aims to infer the speech content from the lip movement sequence and can be seen as a typical sequence-to-sequence (seq2seq) problem which translates the input image sequence of lip movements to the text sequence of the speech content. However, the traditional learning process of seq2seq models always suffers from two problems: the exposure bias resulted from the strategy of "teacher-forcing", and the inconsistency between the discriminative optimization target (usually the cross-entropy loss) and the final evaluation metric (usually the character/word error rate). In this paper, we propose a novel pseudo-convolutional policy gradient (PCPG) based method to address these two problems. On the one hand, we introduce the evaluation metric (refers to the character error rate in this paper) as a form of reward to optimize the model together with the original discriminative target. On the other hand, inspired by the local perception property of convolutional operation, we perform a pseudo-convolutional operation on the reward and loss dimension, so as to take more context around each time step into account to generate a robust reward and loss for the whole optimization. Finally, we perform a thorough comparison and evaluation on both the word-level and sentence-level benchmarks. The results show a significant improvement over other related methods, and report either a new state-of-the-art performance or a competitive accuracy on all these challenging benchmarks, which clearly proves the advantages of our approach.

研究の動機と目的

• sequence-to-sequenceの唇読みモデルにおける教師強制学習における露出バイアスを是正すること。
• 交差エントロピー損失の最適化と最終評価指標（CER/WER）の不一致を是正すること。
• 報酬および損失計算中に時間的文脈情報を組み込むことで、モデルの頑健性を向上させること。
• 単語レベルおよび文レベルの唇読みベンチマークで最先端の性能を達成すること。

提案手法

• 最終評価指標に一致させるために、非微分可能な報酬信号として文字誤り率（CER）を密度的報酬として方策勾配フレームワークに統合する。
• 損失および報酬の次元において、受容 field を拡大するため、報酬および損失計算の各時刻ごとに文脈に配慮した最適化を可能にするために、擬似畳み込み演算を適用する。
• 隣接する時刻の予測を集約するために、カーネルサイズ $k=3$ およびストライド $s=1$ を用いることで、報酬および損失の安定性を向上させる。
• 学習可能なまたは固定されたカーネル重み $w$ を用いた重み付き畳み込みに類似した演算を実装し、周囲の時刻からの寄与度をバランスさせる。
• 識別的交差エントロピー損失と方策勾配に基づく強化学習を併用し、精度とCERの両方を同時に最適化する。
• 動画エンコーダーとデコーダーを統合的に学習し、PCPGモジュールが下流タスクのための表現学習を強化する。

実験結果

リサーチクエスチョン

• RQ1 CERを密度的報酬信号として統合することで、標準的な交差エントロピー損失を上回るsequence-to-sequenceの唇読み性能向上が可能か？
• RQ2 擬似畳み込み演算による報酬および損失計算における時間的文脈の拡張が、モデルの一般化性および頑健性を向上させるか？
• RQ3 PCPG手法は、単語レベルおよび文レベルの唇読みベンチマークで最先端モデルと比較してどのように性能を発揮するか？
• RQ4 PCPGモジュールにおける擬似畳み込み演算の最適なカーネルサイズおよび重み設定は何か？

主な発見

• GRIDベンチマークでは、ビームサーチを用いた場合に11.2%のWER、ビームサーチなしでも11.9%のWERを達成し、先行手法を上回った。
• LRW-1000データセットでは、デコードタスクで33.1%の精度、分類タスクで38.70%の精度を達成し、以前の最先端手法を上回った。
• アブレーションスタディの結果、$k=3$ が最良のパフォーマンスを示し、報酬および損失計算における最適な文脈長が得られた。
• カーネル重みの変動に対してモデルは頑健であり、異なる重み設定間で性能差が1%未満にとどまった。
• PCPGモデルが学習した表現は下流のシーケンス分類タスクでも優れた性能を示し、LRWでは83.5%、LRW-1000では38.70%の精度を達成し、既存手法を上回った。
• PCPGモジュールは一般化性に優れ、デコードおよび分類タスクの両方で最先端または競争力ある結果を達成した。