[論文レビュー] Program Language Translation Using a Grammar-Driven Tree-to-Tree Model

Mehdi Drissi, Olivia Watkins+6 more|arXiv (Cornell University)|Jul 4, 2018

Natural Language Processing Techniques参考文献 8被引用数 8

ひとこと要約

本稿では、デコード段階で形式的文法規則を活用することで構文的に正しくないプログラムの生成を防ぐ、文法駆動型のツリー・ツリー型ニューラルモデルを提案する。標準的なニューラルデコーダーに代えて文法に配慮したデコーダーを採用することで、合成翻訳タスクにおいて88.82%の精度を達成し、従来の最先端のツリー・ツリー型およびツリー・シークエンス型モデルよりも、精度および学習安定性の両面で優れている。

ABSTRACT

The task of translating between programming languages differs from the challenge of translating natural languages in that programming languages are designed with a far more rigid set of structural and grammatical rules. Previous work has used a tree-to-tree encoder/decoder model to take advantage of the inherent tree structure of programs during translation. Neural decoders, however, by default do not exploit known grammar rules of the target language. In this paper, we describe a tree decoder that leverages knowledge of a language's grammar rules to exclusively generate syntactically correct programs. We find that this grammar-based tree-to-tree model outperforms the state of the art tree-to-tree model in translating between two programming languages on a previously used synthetic task.

研究の動機と目的

• ニューラルツリー・ツリー型モデルが構文的に無効なプログラムを生成するという限界を解消するため、デコーディングプロセスに形式的文法規則を統合すること。
• 文法制約付き生成によって終端ノードトークン（<EOS>）の必要性を排除することで、学習効率を向上させ、余分な処理を削減すること。
• 標準的なニューラルデコーダーと比較して、初期化のランダム性に敏感でなくなるように、モデルの安定性と収束性を向上させること。
• 生成されたすべてのプログラムがターゲット言語の文法に厳密に従うようにすることで、より信頼性が高く正確なプログラム翻訳を実現すること。
• 十分な並列学習データと形式的文法を備えた実世界の言語ペアに拡張可能な、実用的なプログラム翻訳フレームワークを提供すること。

提案手法

• モデルは、ソースプログラムの抽象構文木（AST）を処理するためのツリーLSTMエンコーダを用い、階層的処理が可能な左子右兄弟表現にバイナリ化する。
• 標準的なニューラルデコーダーに代えて、形式的文法規則を用いて子ノードの生成を制約する文法に配慮したデコーダーを採用し、構文的に正しいプログラムのみを生成することを保証する。
• デコーダーは親ノードの埋め込みとアテンションベクトルを連結したものをLSTMの入力として用いる親アテンションメカニズムを採用し、子ノードの生成をガイドする。
• 終端ノードトークン（EOS）の必要性を排除するため、文法規則を用いて有効なノード展開を決定することで、必要な操作回数を削減し、効率を向上させる。
• デコーダーは、ターゲット言語の文法に従う場合にのみノードを生成するように学習され、子ノードの生成はエンコードされたソースツリーに対するアテンションによってガイドされる。
• 変数名およびリテラル名に対して固定容量のメカニズムを統合し、将来的には先行研究のコピーメカニズムを拡張可能なものとする。

実験結果

リサーチクエスチョン

• RQ1 文法駆動型デコーダーは、標準的なニューラルデコーダーと比較して、ニューラルプログラム翻訳の構文的正しさと正確性を顕著に向上させることができるか？
• RQ2 デコーディング段階で文法規則を強制することで、モデルの収束がより速く安定するか？
• RQ3 合成プログラム翻訳ベンチマークにおいて、文法に配慮したツリー・ツリー型モデルは、最先端のツリー・ツリー型およびツリー・シークエンス型モデルと比較して、どのように性能を発揮するか？
• RQ4 形式的文法情報が欠落している場合、モデルは珍しいまたは複雑な構文パターンへの一般化能力にどの程度影響を受けるか？
• RQ5 文法ベースのアプローチは、大規模な並列コーパスと形式的言語定義を必要とする実世界のプログラム翻訳タスクにスケーラブルに拡張可能か？

主な発見

• 文法ベースのツリー・ツリー型モデルは、合成プログラム翻訳タスクで平均88.82%の精度を達成し、再実装したツリー・ツリー型およびツリー・シークエンス型ベースラインを上回った。
• 文法モデルはベースラインと比較してより安定した収束を示し、実行間の精度の標準偏差が顕著に低く、初期化のランダム性への感受性が低いことが示された。
• 文法モデルの最良個別実行結果は、両方のベースラインの最良実行結果を上回り、性能の面で一貫した優位性を示した。
• 元のモデルを忠実に再実装しようと努力したが、Chenら（2018）が報告した結果よりも再実装ベースラインの性能が悪かったため、データセットまたは実装の差が結果に影響を与えた可能性がある。
• 終端ノードトークンの削除により、より少ない操作回数で済み、デコーディングプロセスの効率性が向上し、冗長性が低減した。
• モデルの性能は、プログラム長にかかわらず安定しており、簡単なバージョンおよび難しいバージョンの両方で優れた結果を示した。特に、元のハードタスクの2倍の長さのプログラムに対しても良好な結果が得られた。