[論文レビュー] Attending to Mathematical Language with Transformers

Artit Wangperawong|arXiv (Cornell University)|Dec 5, 2018

Topic Modeling参考文献 16被引用数 21

ひとこと要約

本稿では、変換器ベースのモデルを用いて、数学的式を文字単位のシーケンス変換タスクとして理解し、評価する手法を提案する。再帰的または畳み込みを用いない自己注意メカニズムを用いることで、正負の小数を含む記号的式の評価において最大84.9％の精度を達成し、誤りは通常正しい出力から1〜2文字しか違いがないことがわかった。

ABSTRACT

Mathematical expressions were generated, evaluated and used to train neural network models based on the transformer architecture. The expressions and their targets were analyzed as a character-level sequence transduction task in which the encoder and decoder are built on attention mechanisms. Three models were trained to understand and evaluate symbolic variables and expressions in mathematics: (1) the self-attentive and feed-forward transformer without recurrence or convolution, (2) the universal transformer with recurrence, and (3) the adaptive universal transformer with recurrence and adaptive computation time. The models respectively achieved test accuracies as high as 76.1%, 78.8% and 84.9% in evaluating the expressions to match the target values. For the cases inferred incorrectly, the results differed from the targets by only one or two characters. The models notably learned to add, subtract and multiply both positive and negative decimal numbers of variable digits assigned to symbolic variables.

研究の動機と目的

• 変換器アーキテクチャが文字単位で数学的式を効果的に理解し、評価できるかどうかを調査すること。
• 標準的、汎用的、および適応的汎用変換器の性能を、記号的数学的推論タスクにおいて評価すること。
• 変動する長さの小数を含む数値に対して、モデルの一般化能力を評価すること。また、正負の値を両方処理できるかを検証すること。
• 誤りのパターンを分析し、誤った推論時の予測の堅牢性を評価すること。

提案手法

• モデルは、数学的式とその目的値を、文字単位のシーケンス変換タスクとして扱う。
• エンコーダーとデコーダーは、再帰的または畳み込みを一切用いず、マルチヘッド自己注意とフィードフォワードネットワークによって構築される。
• 3つのバリエーションを訓練した：標準変換器、再帰を備えた汎用変換器、適応的計算時間を持つ適応的汎用変換器。
• モデルは、変数が割り当てられ、対応する評価結果が与えられた記号的数学的式のデータセットで訓練される。
• 予測シーケンスとターゲットシーケンスの差を最小化するために、交差エントロピー損失が使用される。
• 評価は、正確一致の精度と、誤った予測における文字単位の誤差解析に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 標準変換器は、高い精度で記号的数学的式を評価できるか？
• RQ2 汎用変換器に再帰を組み込むことで、数学的推論タスクにおける性能がどのように向上するか？
• RQ3 適応的汎用変換器における適忢的計算時間の導入が、モデルの精度と効率性をどの程度向上させるか？
• RQ4 予測の誤りパターンは、正解と比較してどのように異なるか？また、これによりモデルの一般化能力はどのような情報を示すか？

主な発見

• 適応的汎用変換器は、数学的式の評価において最高のテスト精度84.9％を達成した。
• 汎用変換器は標準変換器を上回り、78.8％の精度を達成した。再帰の導入による利点が示された。
• 標準変換器は76.1％の精度を達成し、再帰を用いない自己注意メカニズムでも記号的数学タスクを処理できることが示された。
• 誤って予測された式について、モデルの出力は正解から通常1〜2文字しか違いがなく、誤りのパターンに高い正確性があることがわかった。
• モデルは、変動する桁数を持つ正負の小数について、加法、減法、乗法を正しく実行する能力を学習した。
• 自己注意メカニズムが、適切に構築されたシーケンス変換タスクとしての構造をとれば、記号的数学的推論に有効であることが示唆された。