[論文レビュー] Neural Arithmetic Expression Calculator

Kaiyu Chen, Yihan Dong+2 more|arXiv (Cornell University)|Sep 23, 2018

Reinforcement Learning in Robotics参考文献 20被引用数 8

ひとこと要約

本論文は、複雑な演算を再利用可能な部分タスクに分解するインタラクティブスキルモジュール（ISMs）を備えた、マルチレベル階層的強化学習（MHRL）を用いた純ニューラルモデルを提案する。モデルはカリキュラム・ティーチャーと継続的学習・学生（CTCS）フレームワークを採用し、長さ10の式計算タスクで100％の正確性を達成し、Neural GPU や LSTM といった先行モデルを著しく上回った。

ABSTRACT

This paper presents a pure neural solver for arithmetic expression calculation (AEC) problem. Previous work utilizes the powerful capabilities of deep neural networks and attempts to build an end-to-end model to solve this problem. However, most of these methods can only deal with the additive operations. It is still a challenging problem to solve the complex expression calculation problem, which includes the adding, subtracting, multiplying, dividing and bracketing operations. In this work, we regard the arithmetic expression calculation as a hierarchical reinforcement learning problem. An arithmetic operation is decomposed into a series of sub-tasks, and each sub-task is dealt with by a skill module. The skill module could be a basic module performing elementary operations, or interactive module performing complex operations by invoking other skill models. With curriculum learning, our model can deal with a complex arithmetic expression calculation with the deep hierarchical structure of skill models. Experiments show that our model significantly outperforms the previous models for arithmetic expression calculation.

研究の動機と目的

• 加算、減算、乗算、除算、括弧を含む算術式計算を、純ニューラルのエンドツーエンドソルバーとして開発すること。
• 単純な加算や二項演算を超える一般化に失敗する先行モデルの限界を解消すること。
• 構造化学習を通じて算術演算の階層的で再利用可能な性質を活用すること。
• カリキュラム学習と継続的学習フレームワークを用いて、複雑な式への一般化を可能にすること。

提案手法

• 算術式計算を、スキルモジュールを部分タスク方策として用いるマルチレベル階層的強化学習（MHRL）問題として定式化する。
• 部分式を送信し、答えを受け取ることで、他のスキルモジュールを選択的に起動できるインタラクティブスキルモジュール（ISMs）を導入する。
• 難易度の高い順にスキルモジュールを訓練するため、カリキュラム・ティーチャーと継続的学習・学生（CTCS）フレームワークを採用する。
• 難易度サンプリングとパラメータ調整を用いて、訓練中に学生モデルが最適な戦略へと導かれるようにする。
• ポリシー学習にプロキシマル・ポリシー最適化（PPO）とAdam最適化、GRUベースのRNNを適用する。
• 入力と出力を文字列として扱い、記号的変換を一切行わずにエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 純ニューラルモデルは、乗算、除算、ネストされた式を含む多様な算術演算に一般化できるか？
• RQ2 再利用可能なスキルモジュールを用いた階層的強化学習は、複雑な算術タスクの解決にどの程度有効か？
• RQ3 難易度サンプリングとパラメータ調整を伴うカリキュラム学習は、学習効率と一般化性能を向上させるか？
• RQ4 継続的学習により、過去の知識を活用することで、新しい演算（例：剰余演算）を習得できるか？
• RQ5 長大な算術式において、Neural GPU や LSTM といった既存モデルと比較して、本モデルの正確性と一般化性能はどの程度か？

主な発見

• 提案モデルは、テストセットにおける長さ10の算術式計算タスクで100％の正確性を達成し、ベースラインモデルを著しく上回った。
• 式計算タスクにおいて、長さ5および10では100％の正確性を維持し、長さ20では78％の正確性を達成した。これは強力な一般化能力を示している。
• LSTM や Neural GPU といったベースラインモデルは、長さ5を超えるテストセットでほぼ0％の正確性を示し、一般化能力が著しく低いことがわかった。
• アブレーションスタディの結果、カリキュラム学習と継続的学習が不可欠であることが確認された。それらが欠落すると、剰余演算のような新しいタスクを解くことができない。
• 難易度サンプリングとパラメータ調整は、部分的な収束を回避する上で極めて重要であり、それらが欠落すると、複雑なタスク構造であっても性能が著しく低下する。
• モデルはすべての演算、特に除算（推測可能性のため20％の正確性）を習得しており、全テスト対象算術演算子において高い性能を維持した。