[論文レビュー] Enhancing the Transformer with Explicit Relational Encoding for Math Problem Solving

Imanol Schlag, Paul Smolensky+4 more|arXiv (Cornell University)|Oct 15, 2019

Intelligent Tutoring Systems and Adaptive Learning参考文献 26被引用数 37

ひとこと要約

本論文は TP-Transformer を導入し、TP-Attention による Tensor-Product Representations に基づく関係構造を明示的にエンコードすることで、math word problems の Mathematics Dataset において最先端の成果を達成する。

ABSTRACT

We incorporate Tensor-Product Representations within the Transformer in order to better support the explicit representation of relation structure. Our Tensor-Product Transformer (TP-Transformer) sets a new state of the art on the recently-introduced Mathematics Dataset containing 56 categories of free-form math word-problems. The essential component of the model is a novel attention mechanism, called TP-Attention, which explicitly encodes the relations between each Transformer cell and the other cells from which values have been retrieved by attention. TP-Attention goes beyond linear combination of retrieved values, strengthening representation-building and resolving ambiguities introduced by multiple layers of standard attention. The TP-Transformer's attention maps give better insights into how it is capable of solving the Mathematics Dataset's challenging problems. Pretrained models and code will be made available after publication.

研究の動機と目的

• ニューラルモデルが数学の問題で組み合わせ的推論を行うのに、明示的な関係エンコーディングがどのように役立つか動機づける。
• Tensor-Product Representations (TPRs) を用いて関係構造をエンコードする Transformer の変種を開発する。
• TP-Attention が大規模で多様な数学の文章題データセットで性能を向上させることを示す。

提案手法

• 標準のマルチヘッド・アテンションを TP-Multi-Head Attention に置換し、ヘッドごとに役割/関係ベクトルも出力する。
• アテンションの埋め込み値（fillers）を関係ベクトルにテンソル積結合により結合し、効率化のため Hadamard 形式に縮約する。
• ヘッド結合を聚合して、構造化された成分の Tensor-Product Representation を形成する。
• エンコーダに TP-Attention を備えた Transformer 風のエンコーダ-デコーダ構造を維持し、デコーダは標準的（TP-Attention を含む）にする。
• 対象シーケンス上のクロスエントロピーを用いた教師あり学習で Mathematics Dataset にエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 TP-Attention を用いた明示的な関係エンコードは、標準の attention と比較して数学問題における構造化された関係のモデリングを改善するか？
• RQ2 TP-Transformer は、タスク固有の構造的バイアスなしで意味のある関係 Roles を学習することにより Mathematics Dataset で最先端の精度を達成できるか？
• RQ3 学習された関係ベクトルとアテンションマップから、モデルの数学問題に対する推論についてどんな洞察が得られるか？

主な発見

• Mathematics Dataset の 56 の問題モジュール全体で新たな最先端の精度を達成。
• TP-Attention は filler を role ベクトルと結合し、標準の attention よりもよりあいまいさのない組成的表現を可能にする。
• 学習された役割の分析は、構造的位置による解釈可能なクラスタリングを示し（例: numerator/denominator の役割）、アテンションマップは second-argument-of などの関係推論を明らかにする。
• TP-Transformer の個別の attention ヘッドは、アテンションされた状態のほぼ全情報内容を符号化しており、サブスペース制限に関する一部の事前の主張と異なる。
• TP-Transformer は積み重ねられた attention 層の結合問題に対処し、階層表現の構造的曖昧さを低減する。