[論文レビュー] Bayes risk CTC: Controllable CTC alignment in Sequence-to-Sequence tasks

Jinchuan Tian, Brian Yan+4 more|arXiv (Cornell University)|Oct 14, 2022

Algorithms and Data Compression被引用数 4

ひとこと要約

本稿では、トレーニング中にカスタマイズ可能なベイズリスク関数を組み込むことで、アライメント予測を制御可能な新しいCTC基準、ベイズリスクCTC（BRCTC）を提案する。経路の重み付けを、より早いトークン出力や短い系列長といった望ましい特性に基づいて行うことで、推論コスト（最大47％の削減）と遅延（30％削減）を顕著に低減しつつ、音声認識（ASR）や機械翻訳などのオフラインおよびオンラインの系列対系列タスクにおいて、転写精度を維持する。

ABSTRACT

Sequence-to-Sequence (seq2seq) tasks transcribe the input sequence to a target sequence. The Connectionist Temporal Classification (CTC) criterion is widely used in multiple seq2seq tasks. Besides predicting the target sequence, a side product of CTC is to predict the alignment, which is the most probable input-long sequence that specifies a hard aligning relationship between the input and target units. As there are multiple potential aligning sequences (called paths) that are equally considered in CTC formulation, the choice of which path will be most probable and become the predicted alignment is always uncertain. In addition, it is usually observed that the alignment predicted by vanilla CTC will drift compared with its reference and rarely provides practical functionalities. Thus, the motivation of this work is to make the CTC alignment prediction controllable and thus equip CTC with extra functionalities. The Bayes risk CTC (BRCTC) criterion is then proposed in this work, in which a customizable Bayes risk function is adopted to enforce the desired characteristics of the predicted alignment. With the risk function, the BRCTC is a general framework to adopt some customizable preference over the paths in order to concentrate the posterior into a particular subset of the paths. In applications, we explore one particular preference which yields models with the down-sampling ability and reduced inference costs. By using BRCTC with another preference for early emissions, we obtain an improved performance-latency trade-off for online models. Experimentally, the proposed BRCTC reduces the inference cost of offline models by up to 47% without performance degradation and cuts down the overall latency of online systems to an unseen level.

研究の動機と目的

• 従来のCTCではアライメント予測に制御が利かず、しばしば参照アライメントからずれ、実用的価値に欠けることへの対処。
• 原理的で整合性のあるトレーニング基準を通じて、CTCアライメント特性（例えば、早期発生や短い系列長）のカスタマイズを可能にすること。
• オフラインおよびオンラインの系列対系列モデルの両方において、転写精度を維持しながらアライメントの制御性を高める一般化されたフレームワークの提供。
• トレーニング中に経路固有のリスク関数を活用することで、実世界の応用における推論コストと遅延の低減。
• BRCTCが、ASRおよび機械翻訳タスクにおいて、性能、遅延、計算効率の間で最先端のトレードオフを達成できることの実証。

提案手法

• カスタマイズ可能な特性（例：発生タイミング、長さ）に基づいて経路をグループ化する分割統治アプローチを用いて、CTCの前方後方アルゴリズムを再定式化する。
• 望ましい経路グループに高いリスク値を割り当てるベイズリスク関数を導入し、モデルが望ましい特性を持つ経路に後方確率を集中させるように誘導する。
• すべての経路の和を取ることで、元のCTC目的関数を保持し、転写精度の維持を保証する。
• トレーニング後処理としてトリミング技術を適用し、特にオフラインモデルにおいて系列長と推論コストをさらに削減する。
• アライメントの好み（例：早期発生）と転写性能のバランスを調整するためのリスク係数λを用い、オンラインシステムにおけるチューナブルなトレードオフを実現する。
• 勾配解析とアテンション可視化を用いて、BRCTCが発生ピークを早期にシフトさせ、後段のエンコーダー層で効率的なダウンサンプリングを可能にしていることを検証する。

実験結果

リサーチクエスチョン

• RQ1 従来のCTCのアライメント予測に制御性を導入することで、性能劣化を伴わずに推論コストと遅延を低減できるか？
• RQ2 ベイズリスク関数をCTCトレーニングに統合することで、より早期の発生や短い系列といった望ましい経路特性にモデルを誘導できるか？
• RQ3 BRCTCは、オフラインモデルにおいて推論コストをどれほど低減できるか？ その際、ASR や MT の性能が競争力を持つのか？
• RQ4 BRCTCは、従来のCTCと比較して、オンライン系列対系列モデルにおいて画期的な遅延低減を達成できるか？
• RQ5 BRCTCにおけるアテンションパターンと勾配ダイナミクスは、従来のCTCと比べて、発生タイミングやダウンサンプリング効率の観点でどのように異なるか？

主な発見

• BRCTCは、LibriSpeechおよびAishell-2データセット上で、性能劣化を伴わず、オフラインモデルの推論コストを最大47％削減した。
• オンラインASRにおいて、BRCTCはAishell-2で最小総遅延302msを達成し、従来のCTCの431msベースライン比で30％の削減を達成した。
• BRCTCを用いたモデルは、競争力ある転写品質を維持し、IWSLT14でBLEUスコア31.7（De-En）および38.0（Es-En）を達成し、従来のCTCベースラインと同等の性能を示した。
• BRCTCにおけるダウンサンプリングは、主にCTC層の直前である最後の2つのエンコーダー層に局在化しており、効率的なグローバルコンテキスト集約を示している。
• 勾配解析により、BRCTCがトレーニング中に発生ピークを早期にシフトさせ、勾配が初期時刻に局在化していることが確認され、早期発生を学習可能であることが裏付けられた。
• 可視化により、BRCTCがよりコンactな表現を可能にしていることが確認された：隠れ系列hの平均長さは元の63％にまで短縮され、推論コストが27％削減された。