[論文レビュー] Neural Rule-Execution Tracking Machine For Transformer-Based Text Generation

Yufei Wang, Can Xu+6 more|arXiv (Cornell University)|Jul 27, 2021

Topic Modeling参考文献 30被引用数 4

ひとこと要約

本稿では、変換器ベースのテキスト生成モデルがデコード中に複数の述語論理制約を動的に追跡・強制できるようにする、ニューラルルール実行追跡マシン（NRETM）という新しいモジュールを提案する。状態行列と論理トラッカーを統合し、コンテキストに適した表現をクロスアテンションに注入することで、NRETMは制御可能生成および一般化されたテキスト生成タスクの両方で優れた性能を発揮し、ゼロショットでのルール一般化および制約遵守の面で強力なベースラインを上回った。

ABSTRACT

Sequence-to-Sequence (S2S) neural text generation models, especially the pre-trained ones (e.g., BART and T5), have exhibited compelling performance on various natural language generation tasks. However, the black-box nature of these models limits their application in tasks where specific rules (e.g., controllable constraints, prior knowledge) need to be executed. Previous works either design specific model structure (e.g., Copy Mechanism corresponding to the rule "the generated output should include certain words in the source input") or implement specialized inference algorithm (e.g., Constrained Beam Search) to execute particular rules through the text generation. These methods require careful design case-by-case and are difficult to support multiple rules concurrently. In this paper, we propose a novel module named Neural Rule-Execution Tracking Machine that can be equipped into various transformer-based generators to leverage multiple rules simultaneously to guide the neural generation model for superior generation performance in a unified and scalable way. Extensive experimental results on several benchmarks verify the effectiveness of our proposed model in both controllable and general text generation.

研究の動機と目的

• 微細な任意の論理的制約を厳密に遵守できないブラックボックス型ニューラルテキスト生成モデルの限界を解消すること。
• 述語論理を用いて、制約付き生成と事前知識の統合を1つのスケーラブルなフレームワークに統合すること。
• デコード中にルール実行の進行状況を動的に追跡するメカニズムを設計し、リアルタイムでの制約強制を可能にすること。
• 従来の研究で見られる、ケースバイケースのモデルアーキテクチャや学習目的の制限を克服すること。
• トレーニング時に見なかったルール構成、例えば必須キーワードの文の位置を変更するなど、ゼロショットでの一般化を可能にすること。

提案手法

• NRETMは、デコード中の各制約の式の進行状況を記録するための状態行列を導入する。
• 論理トラッカーは、最新の生成トークンに基づいて状態行列を更新し、実行可能なプログラムを論理演算子として使用する。
• 状態表現は集約され、相対的位置埋め込みとしてデコーダーのクロスアテンションモジュールに注入される。
• フレームワークは任意の述語論理式をサポートしており、柔軟で拡張可能なルール定義を可能にする。
• 動的追跡メカニズムにより、生成中に制約違反のリアルタイム監視と是正が可能になる。
• T5のような事前学習済みエンコーダー・デコーダー構造に統合され、エンドツーエンドの学習と推論が可能になる。

実験結果

リサーチクエスチョン

• RQ1 統一されたフレームワークは、ニューラルテキスト生成中に複数の任意の述語論理制約を同時に強制できるか？
• RQ2 動的ルール追跡は、静的制約強制と比較して、正確性と一般化性能の面で優れているか？
• RQ3 モデルは、トレーニング時に見なかった新しいルール構成にゼロショットで一般化できるか？
• RQ4 NRETMは、複雑で微細な制約を厳密に遵守しながら、生成品質をどの程度向上させられるか？
• RQ5 NRETMは、事前知識（例：カバレッジ、リードバイアス）をシーケンストゥシーケンス生成にどの程度効果的に統合できるか？

主な発見

• ゼロショットテストでは、NRETMは必須キーワードを正しい文の位置に配置する精度が97.7%に達した一方、標準T5ではわずか19.7%にとどまった。
• 物語生成タスクでは、NRETMは必要な物語要素の98.3%をカバーしながら、その97.7%が正しい文に配置された。
• 常識的生成ベンチマークでは、NRETMは複雑な制約下でも、ベースラインモデルを著しく上回る、常識に整合した応答を生成した。
• TED15 Zh-En翻訳ベンチマークでは、NRETMが文書レベルのカバレッジ制約を強制しながら、生成品質を向上させた。
• 動的追跡メカニズムは、制約遵守とスムーズさの両面で、静的戦略を著しく上回った。
• モデルは強力なゼロショット一般化を示し、キーワードの再配置（例：より前の文に移動）といった新しいルール構成を正しく処理できた。