[論文レビュー] Enforcing Encoder-Decoder Modularity in Sequence-to-Sequence Models

Siddharth Dalmia, Abdelrahman Mohamed+3 more|arXiv (Cornell University)|Nov 9, 2019

Algorithms and Data Compression参考文献 27被引用数 11

ひとこと要約

本論文は、エンコーダ出力を事前に定義された解釈可能な語彙空間に離散化するための接続主義的時系列分類（CTC）損失を用いることで、sequence-to-sequenceモデルにおけるエンコーダ・デコーダのモジュラリティを強制する手法を提案する。これにより、独立的で相互に交換可能かつ明確なインターフェースを持つモジュールが実現される。このアプローチは完全な微分可能性を維持し、Switchboardでは8.3%、CallHomeでは17.6%の競争力あるWERを達成しており、モジュラリティが性能を損なわないことを示している。

ABSTRACT

Inspired by modular software design principles of independence, interchangeability, and clarity of interface, we introduce a method for enforcing encoder-decoder modularity in seq2seq models without sacrificing the overall model quality or its full differentiability. We discretize the encoder output units into a predefined interpretable vocabulary space using the Connectionist Temporal Classification (CTC) loss. Our modular systems achieve near SOTA performance on the 300h Switchboard benchmark, with WER of 8.3% and 17.6% on the SWB and CH subsets, using seq2seq models with encoder and decoder modules which are independent and interchangeable.

研究の動機と目的

• 標準的なエンドツーエンドseq2seqモデルにおけるエンコーダとデコーダの密結合（アテンションと共同最適化によるもの）の欠如に対処する。
• エンコーダ出力を離散的かつ現実世界の語彙空間に固定することで、エンコーダとデコーダモジュール間の明確で解釈可能なインターフェースを実現する。
• エンコーダとデコーダのコンポーネントが性能を損なわず、独立的かつ相互に交換可能であることを保証する。
• モジュラリティを強制しながらも完全な微分可能性を維持し、勾配ベースの学習とトランスファー学習を可能にする。
• 異なるタスクやドメイン間でモジュラーなアンサンブルとコンポーネントの再利用を可能にする。

提案手法

• エンコーダ出力にCTC損失を適用し、その表現を事前に定義された語彙空間に離散化することで、構造的かつ解釈可能なインターフェースを強制する。
• CTC損失とデコーダのトークンレベルの交差エントロピー損失を共同最適化することで、エンドツーエンドシステムの完全な微分可能性を維持する。
• デコーダのクロスアテンションメカニズムを変更し、エンコーダからの確率分布または順位付き仮説を受け入れられるようにし、モジュラー統合を可能にする。
• ビームサーチを用い、確率スコアまたは順位をデコーダの入力として使用することで、デコーダがエンコーダ出力を離散的記号の確率的系列と見なせるようにする。
• エンコーダを、ターゲットとアラインメントされた離散的系列を出力するように訓練し、デコーダをこの離散的表現から自己回帰的に出力を生成するようにする。
• 別個に訓練されたエンコーダとデコーダコンポーネントを、順列による結合によって統合することで、モジュラーなアンサンブルを可能にする。これによりモデルの多様性と性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 微分可能なseq2seqモデルにおいて、性能を損なわずエンコーダ・デコーダのモジュラリティを強制することは可能か？
• RQ2 CTC損失によるエンコーダ出力の離散化は、エンコーダとデコーダコンポーネント間のより明確で解釈可能なインターフェースを実現するか？
• RQ3 別々に訓練されたエンコーダとデコーダモジュールを、顕著な性能低下を伴わず相互に交換可能か？
• RQ4 モジュラー設計は、モデルの解釈性、移行性、アンサンブル性能のどの程度向上をもたらすか？
• RQ5 提案手法は、SwitchboardやCallHomeといった標準ベンチマークで競争力ある自動音声認識性能を達成できるか？

主な発見

• 提案手法は、300時間のSwitchboardベンチマークで8.3%の語誤り率（WER）を達成し、最先端性能に近い。CallHomeサブセットでは17.6%のWERを達成した。
• 別々に訓練されたエンコーダとデコーダコンポーネントを用いたモジュラーモデルは、交換されても高い性能を維持しており、強力な相互交換性を示している。
• CTC損失と交差エントロピー損失の共同最適化により、エンドツーエンドシステムの完全な微分可能性が維持されている。
• 4モデル（2エンコーダ×2デコーダ）のモジュラーなアンサンブルにより、SwitchboardではWERが7.7%、CallHomeでは15.8%に低下し、標準的なアンサンブルを上回った。
• エンコーダの出力は、CTCにより現実世界の語彙空間に固定されているため、独立して分析・測定可能である。
• この手法により、デコーダを離散的記号上の微分可能なビームサーチモジュールとして扱い、エンコーダ出力の後処理（ポストエディティング）が可能になる。