[論文レビュー] Neural Arithmetic Units

Andreas Nygaard Madsen, Alexander Rosenberg Johansen|arXiv (Cornell University)|Jan 14, 2020

Neural Networks and Applications参考文献 17被引用数 20

ひとこと要約

本稿では、加算、減算、乗算などの正確な算術演算を改善された安定性、収束速度、外挙の性能で可能にする2つの新しいニューラルネットワーク部品—Neural Addition Unit (NAU) と Neural Multiplication Unit (NMU) — を提案する。NMUは、大規模な隠れ層サイズと正負の値の両方を扱える最初のユニットであり、複雑な算術タスクで94%の成功率を達成し、NALU や NAC よりも顕著に優れた性能を示した。

ABSTRACT

Neural networks can approximate complex functions, but they struggle to perform exact arithmetic operations over real numbers. The lack of inductive bias for arithmetic operations leaves neural networks without the underlying logic necessary to extrapolate on tasks such as addition, subtraction, and multiplication. We present two new neural network components: the Neural Addition Unit (NAU), which can learn exact addition and subtraction; and the Neural Multiplication Unit (NMU) that can multiply subsets of a vector. The NMU is, to our knowledge, the first arithmetic neural network component that can learn to multiply elements from a vector, when the hidden size is large. The two new components draw inspiration from a theoretical analysis of recently proposed arithmetic components. We find that careful initialization, restricting parameter space, and regularizing for sparsity is important when optimizing the NAU and NMU. Our proposed units NAU and NMU, compared with previous neural units, converge more consistently, have fewer parameters, learn faster, can converge for larger hidden sizes, obtain sparse and meaningful weights, and can extrapolate to negative and small values.

研究の動機と目的

• 算術演算に向けた誘導的バイアスの欠如による、ニューラルネットワークの算術タスクにおける外挙性能の低さと不安定性を解消する。
• Neural Arithmetic Logic Unit (NALU) を改善するために、そのコンponents を再設計し、安定性、収束性、解釈可能性を向上させる。
• 大規模な隠れ層サイズと正負の値を扱える新しい乗算ユニット（NMU）を開発する。これは、従来のユニットが対応できなかった。
• MNIST ディジットシーケンス処理などの現実世界のタスクにおいて、算術層を介した信頼性のあるバックプロパゲーションを可能にする。
• 標準の平均二乗誤差とは異なる、実験的ベースラインに基づく新しい成功基準を導入し、分布外の値への一般化をより公平に評価する。

提案手法

• NAC₊ よりも安定で理論的根拠が明確な代替手段として、簡略化されたパラメータ行列とスパarsity正則化を用いた Neural Addition Unit (NAU) を提案する。
• 微分可能ゲーティング機構と最適な初期化を用い、選択されたベクトル要素を明示的に乗算する Neural Multiplication Unit (NMU) を導入する。
• NAU の非ゼロ重みをペナルティ化するスパarsity正則化（Rz）を適用し、意味のあるスパースな重みパターンを促進する。
• ベースラインモデルの1%上位信頼区間に基づく成功基準を用い、誤ったMSE指標を避けるために一般化を評価する。
• 勾配の流れを改善し、勾配消失／爆発を防ぐために、慎重な初期化と重み制約をNMUに適用する。
• 合成算術タスクと現実世界のMNISTベースのシーケンスタスクの両方でモデルを評価し、外挙性能と耐性をテストする。

実験結果

リサーチクエスチョン

• RQ1 加算や乗算といった正確な算術演算を信頼性高く学習・外挙できるニューラルネットワーク部品を設計できるか？
• RQ2 NAU と NMU は、収束速度、成功確率、分布外の値への一般化という観点で、NALU や NAC₊ と比べてどのように性能が異なるか？
• RQ3 スパarsity正則化と適切な初期化は、算術ニューラルユニットの訓練を安定化させる上で果たす役割は何か？
• RQ4 NMU は、従来のユニットが苦戦していた大規模な隠れ層サイズと負の数を効果的に処理できるか？
• RQ5 提案された成功基準は、標準のMSE損失と比較して、算術一般化の評価をより信頼性高く行えるか？

主な発見

• NMU は複雑な関数タスク $t = (x_1 + x_2) \times (x_1 + x_2 + x_3 + x_4)$ で94%の成功率を達成したのに対し、NAC• は13%、NALU は26%にとどまった。
• NAU は中央値で14,000イテレーションで収束したが、NALU は78,000イテレーション、NAC• は59,000イテレーションを要した。
• NMU はスパarsity誤差 $2.6 \times 10^{-8}$ を達成し、非常にスパースで解釈可能な重みを示した。これに対して NAC• は $7.5 \times 10^{-6}$ であった。
• Rz 正則化を除去すると、特に長いシーケンスにおいて NAU の成功率が低下し、モードコラプスを防ぐ上でその重要性が明らかになった。
• NMU は、シーケンシャル乗算タスクにおいて最大1000桁のMNISTディジットシーケンスへの外挙にも成功し、優れた一般化性能を示した。
• MNIST 乗算変種においても、NMU は成功確率と収束速度の両面で NAC• を上回り、現実世界の設定でも優位性を確認した。