[論文レビュー] Structured Reordering for Modeling Latent Alignments in Sequence Transduction

Bailin Wang, Mirella Lapata+1 more|arXiv (Cornell University)|Jun 6, 2021

Natural Language Processing Techniques参考文献 60被引用数 14

ひとこと要約

本稿では、分離可能な順列を用いて構造的潜在変数としてセグメントレベルのアライメントをモデル化することで、系統的汎化を向上させるニューラルシーケンス・トゥ・シーケンスモデルを提案する。再配置最優先、アライメント後続のフレームワークを採用し、正確な動的計画法による推論を導入することで、エンド・トゥ・エンド微分可能な学習が可能となり、特に分布シフト下においても、意味解析および機械翻訳タスクで最先端の性能を達成する。

ABSTRACT

Despite success in many domains, neural models struggle in settings where train and test examples are drawn from different distributions. In particular, in contrast to humans, conventional sequence-to-sequence (seq2seq) models fail to generalize systematically, i.e., interpret sentences representing novel combinations of concepts (e.g., text segments) seen in training. Traditional grammar formalisms excel in such settings by implicitly encoding alignments between input and output segments, but are hard to scale and maintain. Instead of engineering a grammar, we directly model segment-to-segment alignments as discrete structured latent variables within a neural seq2seq model. To efficiently explore the large space of alignments, we introduce a reorder-first align-later framework whose central component is a neural reordering module producing {\it separable} permutations. We present an efficient dynamic programming algorithm performing exact marginal inference of separable permutations, and, thus, enabling end-to-end differentiable training of our model. The resulting seq2seq model exhibits better systematic generalization than standard models on synthetic problems and NLP tasks (i.e., semantic parsing and machine translation).

研究の動機と目的

• 標準的なseq2seqモデルが未知の概念の組み合わせに対して分布外で失敗する問題に対処すること。特に、既知の概念の新しい組み合わせへの系統的汎化の失敗を改善すること。
• ニューラルモデルにおける単調なアライメントの制限を克服し、非単調的で構造的なセグメントレベルのアライメントを可能にすること。
• 複雑で階層的なアライメントを潜在的再配置を通じてモデル化しながらも、エンド・トゥ・エンド微分可能性を維持すること。
• 離散的潜在変数を用いてセグメント間アライメントを明示することで、解釈性を向上させること。
• アライメントモデルによる強いインダクティブバイアスを活用し、低リソースおよび弱教師あり設定での性能向上を実現すること。

提案手法

• 入力シーケンスがニューラルモジュールによって分離可能な順列に再配置される再配置最優先、アライメント後続のフレームワークを導入する。
• 言語的構造を反映させるために階層的順列木を用いて分離可能な順列をモデル化し、効率的な推論を可能にする。
• 分離可能な順列上での正確な周辺分布およびMAP推論を実現する効率的な動的計画法を開発する。
• 再配置モジュールに連続的リラクゼーションを適用することで、エンド・トゥ・エンドバックプロパゲーションと微分可能な学習を可能にする。
• 既存の単調なアライメントモジュールと統合し、非単調的でセグメントレベルのアライメントをサポートする。
• 得られたモデルを意味解析や機械翻訳などのシーケンス変換タスクに適用し、潜在的アライメントの監視を用いる。

実験結果

リサーチクエスチョン

• RQ1 構造的で非単調的なセグメントレベルのアライメントをモデル化することで、ニューラルシーケンス・トゥ・シーケンスモデルにおける系統的汎化が向上するか？
• RQ2 分離可能な順列をニューラルアーキテクチャ内で効率的に推論・エンド・トゥ・エンド学習できるか？
• RQ3 潜在的順列を用いた再配置最優先アプローチが、分布外一般化タスクにおいて標準seq2seqモデルや単調アライメントモデルを上回るか？
• RQ4 潜在的アライメントは、シーケンス生成におけるモデルの解釈性をどの程度向上させるか？
• RQ5 本アプローチは、分布シフト下における実世界のNLPタスク、例えば機械翻訳や意味解析に一般化可能か？

主な発見

• 特にHard- ReMotoバージョンを含む提案モデルReMotoは、EN-JAおよびZH-EN翻訳タスクで最先端のBLEUスコアを達成し、標準seq2seqモデルやSSNT、ローカル再配置などのベースラインを上回る。
• ZH-EN翻訳のLENスプリットでは、ReMotoが22.6 BLEUを達成し、seq2seq（21.4）やSSNT（20.5）を顕著に上回り、分布外一般化の向上が示された。
• 意味解析タスクでは、訓練済みセグメントの新しい組み合わせから構成されるテスト例に対しても、モデルが正しく一般化できており、明示的なアライメント根拠を伴う定性的な例で示された。
• 性能向上はLENスプリット（より長い文）で顕著に現れ、分布シフト下でのより優れた一般化を示している。
• 分離可能な順列の使用により、動的計画法による正確な推論が可能となり、膨大な探索空間の中でもエンド・トゥ・エンド学習が現実可能となった。
• 潜在的アライメントにより、再配置された入力経由で出力セグメントと入力セグメントを明示的に結びつけることで、予測の根拠が明確になり、解釈性が向上した。