[論文レビュー] Measuring Arithmetic Extrapolation Performance

Andreas Nygaard Madsen, Alexander Rosenberg Johansen|arXiv (Cornell University)|Oct 4, 2019

Model Reduction and Neural Networks参考文献 10被引用数 9

ひとこと要約

本論文は、ニューラル算術論理ユニット（NALUs）における算術外挿性能を評価するため、厳密なMSE閾値に基づく成功基準を提案する。これにより、4,800回の実験において収束成功率、収束速度、パラメータスパarsityの信頼性ある測定が可能となる。その結果、NALUは特に乗算および除算において、重み初期化に極めて敏感であるため、一貫した収束に失敗することが判明した。

ABSTRACT

The Neural Arithmetic Logic Unit (NALU) is a neural network layer that can learn exact arithmetic operations between the elements of a hidden state. The goal of NALU is to learn perfect extrapolation, which requires learning the exact underlying logic of an unknown arithmetic problem. Evaluating the performance of the NALU is non-trivial as one arithmetic problem might have many solutions. As a consequence, single-instance MSE has been used to evaluate and compare performance between models. However, it can be hard to interpret what magnitude of MSE represents a correct solution and models sensitivity to initialization. We propose using a success-criterion to measure if and when a model converges. Using a success-criterion we can summarize success-rate over many initialization seeds and calculate confidence intervals. We contribute a generalized version of the previous arithmetic benchmark to measure models sensitivity under different conditions. This is, to our knowledge, the first extensive evaluation with respect to convergence of the NALU and its sub-units. Using a success-criterion to summarize 4800 experiments we find that consistently learning arithmetic extrapolation is challenging, in particular for multiplication.

研究の動機と目的

• ニューラルネットワークにおける算術外挿を評価するための標準化され、解釈可能なメトリクスの欠如に対処すること。
• 複数のランダムな重み初期化において、NALUがどのようにして算術演算の背後にある論理を正しく学習するかを測定すること。
• さまざまなタスク条件下でのNALUおよびそのサブユニット（NACs）の収束速度とパラメータスパarsityを定量化すること。
• 算術外挿タスクにおけるモデルのロバスト性と信頼性を評価するための一般化されたベンチマークを提供すること。

提案手法

• ほぼ完璧な解に対する相対的なMSE閾値10^-5を用いて、回帰タスクにおける正確一致を模擬する成功基準を定義する。
• 収束時間のモデル化にガンマ分布を用い、50〜100個のランダム初期化シードにおける成功率の要約に二項分布の信頼区間を適用する。
• スパarsity誤差を max_i min(|W_i|, |1 - |W_i||) で測定し、境界を尊重するための修正されたベータ分布を信頼区間の算出に用いる。
• 包括的な評価のため、入力サイズ、サブセット比、および演算タイプを変化させた単純関数学習タスクベンチマークを拡張する。
• 成功基準のための基準MSEを計算するために、100万件のテストサンプルでモデルを学習し、堅牢な閾値設定を確保する。
• 最尤プロファイリングを用いて、成功率、収束時間、スパarsity誤差の95%信頼区間を計算する。

実験結果

リサーチクエスチョン

• RQ1 異なるランダムな重み初期化において、NALUはどの程度の頻度で正しい算術論理を正しく学習するか？
• RQ2 モデルは通常、どの訓練イテレーションで成功した解に収束するか？
• RQ3 加算、減算、乗算、除算といった異なる算術演算において、モデルのパフォーマンスはどのように変化するか？
• RQ4 パラメータスパarsityとNALUにおける成功した外挿の関係は何か？
• RQ5 一般化されたベンチマークは、入力サイズやサブセット比といったハイパーパrameterへの感受性をどのように明らかにするか？

主な発見

• NALUは100個のシードすべてで乗算および除算タスクにおいて0%の成功率を示し、収束に一貫して失敗していることが判明した。
• 加算および減算においては、それぞれ14%ずつの成功率を示したが、初期化の違いによる分散が大きかった。
• NAC+サブユニットは加算および減算で100%の成功率を達成し、平均して約370,000〜490,000イテレーションで収束した。
• 成功した実行における収束時間は140万〜300万イテレーションの範囲にあり、特に乗算タスクで最も遅い収束が観察された。
• 成功したNAC+および線形モデルでは、スパarsity誤差が0.23〜0.25と高く、正しい解であってもスパースでない解が得られていた。
• 本研究では、NALUが重み初期化に極めて感受的であり、乗算および除算においては試行間で一貫した収束が得られないことが明らかになった。