[論文レビュー] Mapping Natural-language Problems to Formal-language Solutions Using Structured Neural Representations

Kezhen Chen, Qiuyuan Huang+4 more|arXiv (Cornell University)|Oct 5, 2019

Parallel Computing and Optimization Techniques被引用数 16

ひとこと要約

本論文では、自然言語の問題を形式的言語のプログラムにマッピングするための新しいニューラルエンコーダ・デコーダモデル、TP-N2Fを提案する。このモデルは、エンコーダーでTPRバインディングを用いてシンボリック構造を明示的に符号化し、デコーダーでTPRアンバインディングを用いて構造的なプログラムを生成することで、自然言語から形式的言語への変換を実現する。モデルは2つのN2Fベンチマークで最先端の性能を達成し、LSTMベースのモデルを上回り、学習された構造的表現のおかげで解釈可能性が向上している。

ABSTRACT

Generating formal-language programs represented by relational tuples, such as Lisp programs or mathematical operations, to solve problems stated in natural language is a challenging task because it requires explicitly capturing discrete symbolic structural information implicit in the input. However, most general neural sequence models do not explicitly capture such structural information, limiting their performance on these tasks. In this paper, we propose a new encoder-decoder model based on a structured neural representation, Tensor Product Representations (TPRs), for mapping Natural-language problems to Formal-language solutions, called TP-N2F. The encoder of TP-N2F employs TPR `binding' to encode natural-language symbolic structure in vector space and the decoder uses TPR `unbinding' to generate, in symbolic space, a sequential program represented by relational tuples, each consisting of a relation (or operation) and a number of arguments. TP-N2F considerably outperforms LSTM-based seq2seq models on two benchmarks and creates new state-of-the-art results. Ablation studies show that improvements can be attributed to the use of structured TPRs explicitly in both the encoder and decoder. Analysis of the learned structures shows how TPRs enhance the interpretability of TP-N2F.

研究の動機と目的

• 自然言語の問題を、明示的なシンボリック構造を必要とする形式的言語の解決策にマッピングする課題に対処すること。
• 関係情報を捉える構造的なシンボリック表現を組み込むことで、ニューラルシーケンスモデルの性能を向上させること。
• プログラム合成のための構造から構造へのマッピングを学習できる汎用的なニューラルアーキテクチャの開発。
• TPRを用いてシンボリック構造を明示的にモデル化することで、ディープラーニングモデルの解釈可能性を向上させること。
• エンコーダ・デコーダフレームワークにTPRバインディングとアンバインディングを統合することで、シンボリック推論タスクにおける優れた性能が達成できることを示すこと。

提案手法

• モデルは、エンコーダーでTPR「バインディング」を用いて自然言語入力にシンボリック構造を符号化するため、テンソル積表現（TPRs）を採用する。
• エンコーダーは、ロール・フィラーのバインディングを通じて関係構造を保持するベクトル空間表現に自然言語入力をマッピングする。
• デコーダーは、出力ベクトル空間から関係と引数というシンボリック構成要素を抽出するためにTPR「アンバインディング」を用い、形式的言語プログラムを関係タプルのシーケンスとして生成する。
• モデルは、シーケンス・トゥ・シーケンス学習を用いて、構造的入力表現から構造的出力表現へのエンドツーエンドのマッピングを学習する。
• TP-N2Fは、エンコーディング段階とデコーディング段階の両方でTPRバインディングとアンバインディングの操作を統合した1つのアーキテクチャを採用しており、明示的な構造学習を可能にしている。
• モデルは、正確性、50%正確性、平均正確性という指標を用いて、AlgoLispとMathQAの2つのベンチマークで評価されている。

実験結果

リサーチクエスチョン

• RQ1 TPRに基づく構造的表現は、自然言語から形式的言語への生成タスクにおけるニューラルモデルの性能を向上させることができるか？
• RQ2 TPRによるバインディングとアンバインディングを用いたシンボリック構造の明示的モデリングは、ディープラーニングモデルの解釈可能性を向上させるか？
• RQ3 エンコーダーとデコーダーの両方でTPRを統合することで、プログラム合成における複雑な関係的構造の学習にどのような影響を与えるか？
• RQ4 標準的なシーケンス・トゥ・シーケンスモデル（例：LSTM）に比べて、TPRベースのモデルはシンボリック推論タスクでどれほど優れた性能を示すか？
• RQ5 明示的な教師信号なしで、モデルは意味的に意味のある演算や関係のクラスタを発見できるか？

主な発見

• AlgoLispデータセットでは、TP-N2Fはクリーン化されたテストセットで93.48%の正確性、50p-Accで94.64%を達成し、すべての先行モデルを上回る最先端の性能を示した。
• MathQAデータセットでは、TP-N2Fは平均正確性93.06%、クリーン化されたテストセットで92.78%を達成し、新たなSOTA結果を樹立した。
• アブレーションスタディの結果、デコーダーのTPRアンバインディングの使用が、エンコーダーのバインディングよりも性能向上に寄与していることが示され、構造的出力生成に強く依存していることがわかった。
• モデルは長大なプログラムの生成に成功した（例：55タプルのプログラムを正しく生成）が、LSTMベースのモデルはそのような長さのプログラムでは失敗した。
• 学習されたロールとフィラーの可視化結果から、意味的に類似した語（例：'add'、'increment'）が同じフィラーに割り当てられており、構造的ロール（例：ターゲット、必要な情報）が一貫して学習されていることがわかった。
• デコーダーのアンバインディングベクトルは意味的に整合性のあるクラスタを形成しており、算術演算子と幾何関数がまとまっており、明示的な教師信号なしに、モデルが意味的な演算の意味論を学習していることが示された。