[論文レビュー] Tree-Transformer: A Transformer-Based Method for Correction of Tree-Structured Data

Jacob Harer, Christopher Reale+1 more|arXiv (Cornell University)|Aug 1, 2019

Natural Language Processing Techniques参考文献 42被引用数 45

ひとこと要約

Tree-Transformerを導入。木構造データ上で動作するTransformerのバリアントで、コードと自然言語の訂正に適用され、コードでは逐次モデルに対して大きな改善を、GECベンチマークでは競争力のある/トップクラスの結果を達成。

ABSTRACT

Many common sequential data sources, such as source code and natural language, have a natural tree-structured representation. These trees can be generated by fitting a sequence to a grammar, yielding a hierarchical ordering of the tokens in the sequence. This structure encodes a high degree of syntactic information, making it ideal for problems such as grammar correction. However, little work has been done to develop neural networks that can operate on and exploit tree-structured data. In this paper we present the Tree-Transformer \textemdash{} a novel neural network architecture designed to translate between arbitrary input and output trees. We applied this architecture to correction tasks in both the source code and natural language domains. On source code, our model achieved an improvement of $25\%$ $\text{F}0.5$ over the best sequential method. On natural language, we achieved comparable results to the most complex state of the art systems, obtaining a $10\%$ improvement in recall on the CoNLL 2014 benchmark and the highest to date $\text{F}0.5$ score on the AESW benchmark of $50.43$.

研究の動機と目的

• 文法が豊かな統語情報を提供する木構造データ（コードと自然言語）の訂正タスクを動機づける。
• Tree Convolution Blockを介して木を直接処理し、親と左隣接文脈を捉えるTransformerベースのアーキテクチャを開発する。
• 深さ優先順序と位置符号化なしで木構造の生成をモデリングすることにより、木-ツリー訂正を可能にする。
• コード訂正におけるシーケンスベースモデルに対する改善と、 grammatical error correction (GEC) の競争力のある性能を示す。
• 比較的小規模な訂正データセットに適したトレーニング戦略と正則化を探求する。

提案手法

• Transformerのフィードフォワードサブレイヤを、ノード、親、左隣接表現を学習可能なアフィン変換と非線形で結合するTree Convolution Block (TCB)に置き換える。
• TCBを用いたトップダウンのエンコーダ/デコーダを組み込み、兄弟ノードをシーケンスとして終端トークンを用いた木構造の生成を可能にする。
• デコード時に親と左隣接入力が利用可能になるよう深さ優先順序を用い、自己注意を適切にマスクする。
• TCBが構造的局在性を提供し、小規模データセットでの過学習を避けるため、位置符号化を省略する。
• Adamオプティマイザ、ドロップアウト、ラベルスムージング、ビームサーチで訓練し、入力を条件付けするエンコーダ-デコーダのアテンションと、前に生成したノードを条件付けする自己注意機構を活用する。
• 大規模モノリンガルデータでの事前学習と、 grammatical error correction (GEC) のデノイジング自動符号化器目的で訓練を拡張する。

実験結果

リサーチクエスチョン

• RQ1 Transformerベースのアーキテクチャを、訂正タスクのために木構造データ上で直接動作させるように効果的に適応できるか。
• RQ2 親-兄弟木畳み込みブロックを組み込むことで、コードと言語の分野における文法訂正出力が、シーケンスベースの方法より改善されるか。
• RQ3 小規模データセットでの木-木訂正を最も支援するトレーニング戦略（事前学習、デノイジング、ビームサーチ、正則化）はどれか。
• RQ4 コード訂正と文法訂正ベンチマークにおけるTree-Transformerの性能は、最先端のシーケンスモデルと比較してどうか。
• RQ5 深さ優先ノード順序と位置符号化の欠如が、モデル性能と過学習にどのような役割を果たすか。

主な発見

アーキテクチャ	精度	リコール	F0.5
4-layer LSTM	51.3	53.4	51.7
Transformer	59.6	86.1	63.5
Tree-Transformer	84.5	85.7	84.7

• SATE IVデータでのコード訂正において、Tree-Transformerは84.7 F0.5を達成し、4-layer LSTM (51.7) および標準のTransformer (63.5) を上回る。
• GEC（CoNLL 2014）では、Tree-Transformerは従来アプローチよりリコールが高いが正準率が低く、モノリンガル拡張なしで47.50 F0.5を示し、拡張を用いた改良版が改善。
• AESWでは、Tree-Transformerはこれまでで最高の報告F0.5スコア50.43を達成し、シーケンスベースのTransformer (48.03) を上回る。
• 木構造上のバッチ可能なアテンションにより訓練効率が優れており、大規模データセットでの訓練時間を数か月から1日未満に短縮する。
• TCBsと木構造が十分な局所性を提供するため位置符号化を回避し、小規模な訂正データセットでの過学習を抑制する。