[論文レビュー] Neural Networks and the Chomsky Hierarchy

Grégoire Delétang, Anian Ruoss+9 more|arXiv (Cornell University)|Jul 5, 2022

Ferroelectric and Negative Capacitance Devices被引用数 45

ひとこと要約

広範な実証研究で、ニューラルアーキテクチャ（RNN、LSTM、Transformer、メモリ強化型）をChomsky階層に配置し、形式言語の転写タスクに対する一般化を検証。メモリ増強モデルはより高いレベルの一般化を示す一方、単なるTransformer/LSTMには限界がある。

ABSTRACT

Reliable generalization lies at the heart of safe ML and AI. However, understanding when and how neural networks generalize remains one of the most important unsolved problems in the field. In this work, we conduct an extensive empirical study (20'910 models, 15 tasks) to investigate whether insights from the theory of computation can predict the limits of neural network generalization in practice. We demonstrate that grouping tasks according to the Chomsky hierarchy allows us to forecast whether certain architectures will be able to generalize to out-of-distribution inputs. This includes negative results where even extensive amounts of data and training time never lead to any non-trivial generalization, despite models having sufficient capacity to fit the training data perfectly. Our results show that, for our subset of tasks, RNNs and Transformers fail to generalize on non-regular tasks, LSTMs can solve regular and counter-language tasks, and only networks augmented with structured memory (such as a stack or memory tape) can successfully generalize on context-free and context-sensitive tasks.

研究の動機と目的

• 標準的なニューラルネットワークとメモリ増強型ニューラルネットワークが、Chomsky階層の各レベルにおける系列転写タスクでどのように一般化するかを評価する。
• 勾配ベースの訓練下で、正規言語、文脈自由言語、文脈依存言語、再帰可算言語に対応するアルゴリズムを学習できるアーキテクチャを特定する。
• メモリ増強（スタック、テープ）が正規言語を超えた一般化を可能にするか、またその程度を明らかにする。

提案手法

• 入力/出力言語を定義し、Chomsky階層を横断する系列転写タスクのスイートを構築する。
• 勾配ベースの学習を用いて、入力を出力に写像する幅広いモデル（RNN、LSTM、Transformer、Stack-RNN、Tape-RNN）を訓練する。
• 入力終了を示すダミー トークンを用いた非自己回帰設定で、出力系列全体の交差エントロピー損失を計算する。
• 分布外の長い系列（N+1 から M）での一般化を評価し、タスクごとに正答率を報告する。
• 学習されたアルゴリズムを解釈するために内部表現とメモリダイナミクスを分析する（例：スタック/テープの使用）。
• 再現性のためにベンチマーク、モデル、タスクを公開する。

実験結果

リサーチクエスチョン

• RQ1 標準的およびメモリ増強型ニューラルネットワークは、Chomsky階層の各レベルに対応するタスクで訓練長を超えた長い系列へ一般化できるか。
• RQ2 どのアーキテクチャ（RNN、LSTM、Transformer、Stack-RNN、Tape-RNN）が、正規言語、文脈自由言語、文脈依存言語、再帰可能な列挙言語に対応するタスクを勾配ベースの学習で解けるか。
• RQ3 メモリ増強（スタック、テープ）は正規言語を超えた一般化を可能にするか。可能なら、どの程度か。
• RQ4 さまざまな位置エンコーディングを用いたTransformerは、順列非依存性のタスクにどの程度適応し、長い系列へ外挿できるか。

主な発見

• RNNは正規言語まで一般化する；Stack-RNNは文脈自由言語へ拡張する；Tape-RNNは文脈依存言語まで到達するが、メモリ増強にもかかわらず一部のタスクは依然として難しい。
• Transformerは順列不変のタスク（例：Bucket Sort）に優れる一方、多くの非順列不変タスクでは階層の各レベルで失敗し、位置エンコードの影響で長い系列の外挿が困難になることがある。
• LSTMはカウント関連タスクで vanilla RNN を上回り、正規のRNNを超える高次の一般化を一部実現できる（例：Bucket Sort）。
• メモリ増強モデルは解釈可能な戦略を示す：Stack-RNNはDCFタスクに対してスタックのような解法を学習；Tape-RNNはCSタスクに対してテープベースの操作を示す。
• 容量が増加してもデータのみの増加が高階階層タスクへの一般化を保証するわけではなく、構造化された記憶の存在が高次の一般化には必要である。
• 本研究は系列一般化をストレステストする公開ベンチマークを提供し、アルゴリズムタスクに対する勾配ベース学習の根本的な限界を浮き彫りにする。