[論文レビュー] Divide and Conquer with Neural Networks

Alex Nowak, Joan Bruna|arXiv (Cornell University)|Apr 24, 2017

Machine Learning and Algorithms参考文献 12被引用数 2

ひとこと要約

この論文は、分割統治のパラダイムを模倣することで、ソートや凸包計算などのアルゴリズム的タスクを学習する微分可能で再帰的なニューラルアーキテクチャを提案する。スケール不変性を持ち学習可能な分割およびマージ演算子を用い、計算グラフを動的に構築することで、中間のオракルステップにアクセスせずに入力出力ペアのみでエンドツーエンドの学習が可能となり、高い精度と一般化性能を達成する。モデルの複雑さがタスクの本質的複雑さと一致する場合に特に効果的である。

ABSTRACT

We consider the learning of algorithmic tasks by mere observation of input-output pairs. Rather than studying this as a black-box discrete regression problem with no assumption whatsoever on the input-output mapping, we concentrate on tasks that are amenable to the principle of divide and conquer, and study what are its implications in terms of learning. This principle creates a powerful inductive bias that we exploit with neural architectures that are defined recursively, by learning two scale-invariant atomic operators: how to split a given input into two disjoint sets, and how to merge two partially solved tasks into a larger partial solution. The scale invariance creates parameter sharing across all stages of the architecture, and the dynamic design creates architectures whose complexity can be tuned in a differentiable manner. As a result, our model is trained by backpropagation not only to minimize the errors at the output, but also to do so as efficiently as possible, by enforcing shallower computation graphs. Moreover, thanks to the scale invariance, the model can be trained only with only input/output pairs, removing the need to know oracle intermediate split and merge decisions. As it turns out, accuracy and complexity are not independent qualities, and we verify empirically that when the learnt complexity matches the underlying complexity of the task, this results in higher accuracy and better generalization in two paradigmatic problems: sorting and finding planar convex hulls.

研究の動機と目的

• 中間のオラクルステップにアクセスせずに、入力出力ペアのみを観測することでニューラルネットワークがアルゴリズム的タスクを学習できるようにすること。
• 分割統治の原則を強いインダクティブバイアスとして活用し、アーキテクチャの学習をガイドし、一般化性能を向上させること。
• 学習中に複雑さを動的に調整できる微分可能で再帰的なニューラルアーキテクチャを設計すること。
• スケール不変性を課すことにより、中間の分割およびマージ意思決定に対する明示的监督を排除すること。
• モデルの複雑さとタスクの複雑さの間の相互作用が、学習精度と一般化性能に与える影響を調査すること。

提案手法

• モデルは、入力を2つの互いに素な集合に再帰的に分割するための1つの原子的演算子と、部分的に解決された2つの部分問題を1つの大きな解決策に統合するためのもう1つの演算子を用いる。両者ともスケール不変性を持ち、学習可能である。
• アーキテクチャは再帰的に定義されており、スケール不変性のおかげですべてのレベルでパラメータ共有が可能であり、さまざまな入力サイズにおいても効率的な学習が可能である。
• バックプロパゲーションにより出力誤差を最小化すると同時に、浅い計算グラフを好むように学習することで、効率的でコンactな解決策が得られる。
• 中間の分割およびマージに明示的な監督が不要であるのは、スケール不変性のおかげであり、これにより入力出力ペアのみで学習が可能になる。
• 再帰的構造により、モデルは微分可能に深さと複雑さを動的に調整でき、タスクの最適な分解を効果的に学習できる。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、中間の監督なしに、入力出力ペアのみを用いて、ソートや凸包計算のような複雑なアルゴリズム的タスクを学習できるか？
• RQ2 分割統治のインダクティブバイアスを強制することで、ニューラルアルゴリズム学習における一般化性能と精度はどのように向上するか？
• RQ3 モデルが学習する複雑さとタスクの本質的複雑さの一致度合いが、性能にどの程度影響を及えるか？
• RQ4 微分可能で再帰的なアーキテクチャは、計算グラフの深さを動的に調整しながら、学習の安定性と効率性を維持できるか？
• RQ5 分割およびマージ演算子におけるスケール不変性は、エンドツーエンド学習においてオラクルの中間意思決定の必要性を排除できるか？

主な発見

• モデルの学習済み複雑さがタスクの本質的複雑さと一致する場合、より高い精度とより優れた一般化性能を達成する。
• スケール不変性を持ち学習可能な分割およびマージ演算子の使用により、中間の監督が不要な状態で、入力出力ペアのみで学習が可能になる。
• 再帰的で微分可能なアーキテクチャにより、バックプロパゲーション中に浅い構造を好むことで、効率的な計算グラフを学習できる。
• ソートおよび平面凸包タスクにおける実験的結果から、複雑さと精度は相関関係にあり、モデルの深さがタスクの難易度と一致する際に最適な性能が得られることが確認された。
• 動的アーキテクチャ設計により、すべての段階でパラメータ共有が可能となり、入力サイズの変動にわたるサンプル効率と一般化性能が向上した。