[論文レビュー] InsNet: An Efficient, Flexible, and Performant Insertion-based Text Generation Model

Sidi Lu, Tao Meng+1 more|arXiv (Cornell University)|Feb 12, 2021

Topic Modeling被引用数 4

ひとこと要約

InsNet は、挿入指向の相対的位置エンコーディング（オフセット）と軽量なスロット表現戦略を導入することで、再エンコーディングを1回のみに制限する、効率的で柔軟かつ高性能な挿入ベースのテキスト生成モデルである。このモデルは、語彙制約付きテキスト生成および機械翻訳タスクにおいて、訓練速度、推論効率、生成品質の面で最先端の性能を達成しており、制御可能な並列化を可能にする新たなデコードアルゴリズム（InsNet-Dinic）を備えている。

ABSTRACT

We propose InsNet, an expressive insertion-based text generator with efficient training and flexible decoding (parallel or sequential). Unlike most existing insertion-based text generation works that require re-encoding of the context after each insertion operation and thus are inefficient to train, InsNet only requires one pass of context encoding for the entire sequence during training by introducing a novel insertion-oriented position encoding and a light-weighted slot representation strategy to enable computation sharing. Furthermore, we propose an algorithm InsNet-Dinic to better determine the parallelization of insertion operations that provides a controllable switch between parallel and sequential decoding, making it flexible to handle more parallelizable tasks such as machine translation with efficient decoding, or less parallelizable tasks such as open-domain text generation to guarantee high-quality outputs. Experiments on two lexically constrained text generation datasets and three machine translation datasets demonstrate InsNet's advantages over previous insertion-based methods in terms of training speed, inference efficiency, and generation quality.

研究の動機と目的

• 各挿入後に繰り返し文脈再エンコーディングを必要とする挿入ベースのテキスト生成モデルの高い訓練コストを解消すること。
• 構造化翻訳からオープンエンド生成まで多様な生成タスクをサポートする統合フレームワークにおいて、並列および逐次デコードを両立させること。
• モデルの表現力は維持しつつ、挿入ステップ間で計算を共有可能な相対的位置エンコーディング方式を設計すること。
• 挿入依存性グラフに基づき最適な挿入順序の並列化レベルを決定するアルゴリズム（InsNet-Dinic）を最適化して、尤度の不一致を低減し、デコード品質を向上させること。
• 従来の挿入ベースモデルと比較して、訓練効率、推論速度、生成品質の面で優れた性能を示すこと。

提案手法

• 挿入指向の相対的位置エンコーディング「オフセット」として、トークン間のペアワイズ空間的関係をエンコードする手法を導入。これにより、再エンコーディングを必要としない固定位置エンコーディングが可能になる。
• 任意の挿入順序に対してオフセット行列を効率的に計算できる「オフセット圧縮」を提案。これにより、文脈表現の再計算を避けつつ、動的かつスケーラブルな位置エンコーディングが実現される。
• 全挿入位置における表現力のあるスロット表現を一括で計算できるグローバルスロット表現集約メカニズムを設計。
• Dinicのアルゴリズムにインspiredされたデコードアルゴリズム「InsNet-Dinic」を導入。挿入依存性グラフに基づき、最適な挿入順序の並列化レベルを決定する。
• 文脈エンコーディングを1パスで行うため、静的ポジショナルエンコーディングを維持し、オフセット機構によってのみ新規トークンの位置を更新する。
• さらに推論効率とモデル性能を向上させるために、知識蒸留とミックス精度訓練を統合。

実験結果

リサーチクエスチョン

• RQ1 挿入ベースのテキスト生成モデルは、モデル容量や位置の表現力に損なわれることなく、訓練中に1回のパスによる文脈再エンコーディングを達成できるか？
• RQ2 挿入ベースのモデルは、多様なタスクにおいて高品質な生成を維持しつつ、並列および逐次デコードの両方をサポートできるか？
• RQ3 相対的位置エンコーディングは、挿入ベース生成におけるモデル性能と訓練効率にどのような影響を与えるか？
• RQ4 制御可能な並列化戦略により、挿入ベースのモデルにおける尤度の不一致を低減し、デコード品質を向上させられるか？
• RQ5 提案されたアーキテクチャは、既存の挿入ベースモデルと比較して、訓練速度、推論効率、生成品質の面で優れているか？

主な発見

• InsNet は、オフセットベースの相対的位置エンコーディングを用いることで、訓練中の再エンコーディングを1回のパス（O(1)）に制限し、従来のO(n)の再エンコーディングステップを要するモデルと比較して、著しく訓練効率が向上した。
• InsNet-Dinic により、並列と逐次デコードの間で制御可能なトレードオフが可能となり、平均して1ステップあたり約15.8個の挿入が並列化可能となった。これにより推論速度が向上し、高い品質を維持した。
• Yelp および Cornell の語彙制約付きテキスト生成データセットにおいて、InsNet は KD を適用した場合に BLEU スコア 43.71、KD を適用した場合に 44.10 を達成し、Levenshtein Transformer や Insertion Transformer などの従来手法を上回った。
• InsNet は、1枚の RTX 3090 GPU で1エポックあたりたったの1時間12分で学習が完了し、Levenshtein Transformer（16時間33分）や Insertion Transformer（8時間24分）などのベースラインと比較して顕著に高速であった。
• アブレーションスタディの結果、オフセット行列とグローバル表現が極めて重要であることが判明した。グローバル表現を削除すると収束が悪化し、終了時のNLLが上昇する一方、オフセットを[-1,1]に制限するとモデルの表現力と性能が低下した。
• モデルは、訓練速度と生成品質の両面で最先端の性能を達成しており、KD最適化版では1シーケンスあたり103msの推論時間で、速度とBLEUスコアの両面でベースラインを上回った。