[論文レビュー] Transformer-Based Neural Text Generation with Syntactic Guidance

Yinghao Li, Rui Feng+2 more|arXiv (Cornell University)|Oct 5, 2020

Topic Modeling参考文献 27被引用数 10

ひとこと要約

本稿では、部分的構文解析木を構文的ガイダンスとして用いることで制御されたパラフレージングを改善する、Transformerベースのテキスト生成モデルGuiGを提案する。木構造の認識を強化するパスアテンションと、ソースと構文入力を統合するマルチエンコーダー・アテンション機構を導入することで、GuiGは最先端の性能を達成し、BLEUスコアを11.83から26.27に向上させ、従来手法に比べて意味的・構文的品質の両面で顕著な向上を示した。

ABSTRACT

We study the problem of using (partial) constituency parse trees as syntactic guidance for controlled text generation. Existing approaches to this problem use recurrent structures, which not only suffer from the long-term dependency problem but also falls short in modeling the tree structure of the syntactic guidance. We propose to leverage the parallelism of Transformer to better incorporate parse trees. Our method first expands a partial template constituency parse tree to a full-fledged parse tree tailored for the input source text, and then uses the expanded tree to guide text generation. The effectiveness of our model in this process hinges upon two new attention mechanisms: 1) a path attention mechanism that forces one node to attend to only other nodes located in its path in the syntax tree to better incorporate syntax guidance; 2) a multi-encoder attention mechanism that allows the decoder to dynamically attend to information from multiple encoders. Our experiments in the controlled paraphrasing task show that our method outperforms SOTA models both semantically and syntactically, improving the best baseline's BLEU score from 11.83 to 26.27.

研究の動機と目的

• テキスト生成中に木構造的な構文的ガイダンスを捉えることが難しいリカレントモデルの限界を解消すること。
• 部分的テンプレートから拡張された包括的な解析木を活用することで、制御されたテキスト生成を改善すること。
• 構造的な構文制約を用いて、生成されたテキストにおける意味的・構文的整合性を向上させること。
• 構文木における階層的構文的依存関係をよりよくモデル化できるアテンション機構の設計

提案手法

• モデルはまず、ソース・テキストに適合するように、部分的テンプレートである構文解析木を拡張して包括的な解析木に変換する。
• パスアテンション機構により、各ノードのアテンションが木構造における先祖と子孫に限定され、階層的構文構造の認識が強化される。
• マルチエンコーダー・アテンション機構により、デコーダーがソース・テキストエンコーダーと構文木エンコーダーの両方の表現に動的にアテンションできる。
• 構文拡張器とテキスト生成器の両方とも、長距離依存関係のモデル化に自己アテンションを活用するTransformerアーキテクチャに基づいている。
• 解析木は、Transformerフレームワーク内での効率的処理を可能にするために、ノードレベルのコンactフォーマットに線形化される。
• 意味的および構文的監視を伴うエンドツーエンドの制御されたパラフレージングタスクでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 リカレントモデルに比べて、Transformerベースのアーキテクチャは、テキスト生成における木構造的構文ガイダンスをより効果的にモデル化できるか？
• RQ2 パスアテンションは、シーケンス生成中に構文的階層をどれほど効果的に保持できるか？
• RQ3 マルチエンコーダー・アテンションは、意味的および構文的情報の統合をどの程度向上させるか？
• RQ4 部分的解析テンプレートを完全な木に拡張することで、生成テキストにおけるより良い構文的制御と意味的忠実性が達成できるか？
• RQ5 自動評価および人間評価の両指標において、本手法はSOTAモデルと比較してどの程度優れているか？

主な発見

• GuiGは、制御されたパラフレージングタスクにおいて、最良のベースラインのBLEUスコアを11.83から26.27に向上させた。
• SOTAのSCPNetモデルに比べ、構文的品質は6.7%向上し、意味的品質は122.1%向上した。
• 人間評価では、意味スコアが1.13ポイント、構文スコアが0.62ポイント、ベースラインに比べて上昇した。
• アブレーションスタディの結果、パスアテンション機構は意味的パフォーマンスに顕著な貢献を示した一方、マルチエンコーダー・アテンションは複数の入力ソースを処理する能力を向上させた。
• モデルは一般的な解析テンプレートに一般化できており、類似した高レベルの構文的構造を持つ意味的に一貫性のある文を生成できた。
• 構文拡張器は、ソース入力の意味と整合性を持つ包括的な解析木を効果的に生成できており、正確な構文的制御を可能にした。