[論文レビュー] Can You Learn an Algorithm? Generalizing from Easy to Hard Problems with Recurrent Networks

Avi Schwarzschild, Eitan Borgnia+5 more|arXiv (Cornell University)|Jun 8, 2021

Machine Learning and Data Classification被引用数 9

ひとこと要約

この論文は、前缀和、迷路、チェスといった推論問題の簡単なインスタンスで訓練された再帰的ニューラルネットワークが、推論時の再帰ステップ数を増やすことで、はるかに難しい問題に一般化できることを示している。これは反復計算によるアルゴリズム的推論を模倣するものである。主な貢献は、再訓練やアーキテクチャの変更なしに、学習分布を超えてスケーラブルなアルゴリズム的行動を学習していることの実証である。

ABSTRACT

Deep neural networks are powerful machines for visual pattern recognition, but reasoning tasks that are easy for humans may still be difficult for neural models. Humans possess the ability to extrapolate reasoning strategies learned on simple problems to solve harder examples, often by thinking for longer. For example, a person who has learned to solve small mazes can easily extend the very same search techniques to solve much larger mazes by spending more time. In computers, this behavior is often achieved through the use of algorithms, which scale to arbitrarily hard problem instances at the cost of more computation. In contrast, the sequential computing budget of feed-forward neural networks is limited by their depth, and networks trained on simple problems have no way of extending their reasoning to accommodate harder problems. In this work, we show that recurrent networks trained to solve simple problems with few recurrent steps can indeed solve much more complex problems simply by performing additional recurrences during inference. We demonstrate this algorithmic behavior of recurrent networks on prefix sum computation, mazes, and chess. In all three domains, networks trained on simple problem instances are able to extend their reasoning abilities at test time simply by "thinking for longer."

研究の動機と目的

• 再帰的ニューラルネットワークが、学習データを超えてより難しい問題インスタンスに一般化するアルゴリズム的推論を学習できるかどうかを調査すること。
• 推論時の再帰ステップ数を増やすことで、訓練時に見たことのないより複雑な問題をモデルが解けるかどうかを調査すること。
• 再帰的アーキテクチャが、従来は手作業で設計されたアルゴリズムで解かれる推論タスクにおいて論理的外挿を達成できるかどうかを検証すること。
• 固定深さのフィードフォワードネットワークと比較して、再帰モデルの分布外一般化性能を評価すること。
• 推論中に学習された反復的推論プロセスを可視化・分析すること。

提案手法

• 固定された再帰ステップ数を用いて、簡単な推論問題の小さなインスタンスで再帰的ネットワークを訓練する。
• 推論時に再帰ステップ数を増やすことで、同じモデルをより難しい問題インスタンスでテストする。
• 重み共有を再帰ステップ間で行うことで、スケーラブルな推論を可能にする、標準的な再帰アーキテクチャ（例：GRU や LSTM）を用いる。
• 3つのドメインで性能を評価する：前缀和計算、迷路解決、チェスパズル解決。
• 再帰ステップごとの内部活性化および注目パターンを可視化し、学習された推論プロセスを解釈する。
• 反復的推論能力を持たない同等の深さのフィードフォワードネットワークと比較して、一般化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 簡単な問題で訓練された再帰的ネットワークが、推論時の再帰ステップ数を増やすことで、より難しい問題に一般化できるか？
• RQ2 テスト時に再帰ステップ数を延ばすことで、分布外でより難しいインスタンスに対する性能が向上するか？
• RQ3 訓練分布を超える問題を解く際、再帰的モデルの性能はフィードフォワードネットワークと比べてどうなるか？
• RQ4 再帰的ネットワークは、BFS や再帰的木構造の還元など、古典的な反復アルゴリズムに類似したアルゴリズム的行動を学習するか？
• RQ5 再帰的ネットワークの内部ダイナミクスは、作業記憶における意図的で段階的な推論として解釈できるか？

主な発見

• 簡単な迷路で訓練されたネットワークは、テスト時に再帰ステップ数を増やすことで、はるかに大きな迷路に対しても一般化でき、固定深さのフィードフォワードネットワークを上回る性能を示した。
• 小さな前缀和問題で訓練されたモデルは、推論時のイテレーション数を増やすことで、任意に大きな入力に対しても一般化でき、十分な再帰ステップ数で正確な結果を得た。
• チェスパズルにおいて、低難易度のパズルで訓練されたモデルは、再帰ステップ数を増やすことで、高難易度のパズルをテスト時に解くことができ、論理的外挿を示した。
• 再訓練やアーキテクチャ変更なしに、再帰ステップ数を増やすことで性能が単調に向上し、スケーラブルな推論が可能であることが示された。
• 可視化により、ネットワークの内部活性化が段階的に変化することがわかった。最初に重要な要素（例：チェスにおけるルーク）を特定し、その後最適手を決定するプロセスが観察された。
• その行動は再帰性に特化している：同等の深さのフィードフォワードネットワークは、より難しい問題への一般化に失敗しており、反復的計算の重要性が浮き彫りになった。