[論文レビュー] Differentiable Programs with Neural Libraries

Alexander L. Gaunt, Marc Brockschmidt+2 more|arXiv (Cornell University)|Nov 7, 2016

Neural Networks and Applications被引用数 31

ひとこと要約

この論文では、微分可能プログラミングとニューラルネットワークを組み合わせることで、入出力例から継続的に学習できる解釈可能でモジュラーなモデルを実現する Neural TerpreT (NTPT) フレームワークを紹介する。実行可能ソースコードとして構造化された解決策が、トレーニング可能なニューラルコンポーネントを呼び出すことで、災難的忘却を回避しながら、以前のタスクの継続的改善と強力な一般化を達成し、視覚的プログラミング・バイ・エクサムプル（PPBE）タスクにおいて、完全にニューラルなベースラインを上回る性能を発揮する。

ABSTRACT

We develop a framework for combining differentiable programming languages with neural networks. Using this framework we create end-to-end trainable systems that learn to write interpretable algorithms with perceptual components. We explore the benefits of inductive biases for strong generalization and modularity that come from the program-like structure of our models. In particular, modularity allows us to learn a library of (neural) functions which grows and improves as more tasks are solved. Empirically, we show that this leads to lifelong learning systems that transfer knowledge to new tasks more effectively than baselines.

研究の動機と目的

• 弱い教師信号（入出力ペア）を用いた視覚的プログラミング・バイ・エクサムプル（PPBE）における継続的学習の課題に対処すること。この際、画像やテキストを含む多様なタスクに一般化できる必要がある。
• 解釈可能なプログラム構造とトレーニング可能なニューラルコンポーネントを組み合わせたハイブリッドアーキテクチャの開発。これにより、タスク間でのモularity と知識共有が可能になる。
• 新しいタスクが導入された後でも、以前のタスクのパフォーマンスが向上するように、継続的学習における災難的忘却を克服すること。
• 制御構造やモularity といったプログラムに似たインダクティブバイアスが、ニューラルシステムにおける一般化と解釈可能性をどのように向上させるかを調査すること。
• ソースコードとニューラルコンポーネントのエンド・ツー・エンド微分可能トレーニングが、転送可能な知識を有する有効な継続的学習を実現できることを実証すること。

提案手法

• フレームワークは、ニューラルネットワーク関数の呼び出しを含むソースコードを実行する微分可能インタプリタをコントローラーとして使用。これにより、コードとニューラルパラメータの共同最適化が可能になる。
• ニューラルコンポーネントはバックプロパゲーションによりエンド・ツー・エンドでトレーニングされ、勾配がインタプリタを通ってプログラム論理とニューラルウェイトの両方を更新する。
• 新しいタスクが解かれるたびに、共有ライブラリ内のニューラル関数が動的に拡張・最適化され、タスク間での知識転送が可能になる。
• インタプリタがニューラルコンポーネントを任意に呼び出し・無視できるようにすることで、モularity が強制され、干渉の防止と継続的学習の支援が可能になる。
• 以前のタスクが再び再現されない継続的学習の設定でも、共有コンポーネントの更新により、時間経過とともにパフォーマンスが向上する。
• ソースコードの構造をインダクティブバイアスとして活用することで、入力長に一般化するループなど、一般化可能な解決策を好む。

実験結果

リサーチクエスチョン

• RQ1 微分可能プログラミングとニューラルネットワークを組み合わせたハイブリッドモデルは、視覚的プログラミングタスクにおいて、完全にニューラルなモデルに比べて、より優れた一般化と継続的学習を達成できるか？
• RQ2 プログラム構造におけるモularity は、継続的学習における知識転送と災難的忘却への耐性にどのように影響するか？
• RQ3 新しいタスクのトレーニング後、直接的に再トレーニングされない過去のタスクのパフォーマンスが、どの程度向上するか？（共有ニューラルコンポーネントの更新のおかげで）
• RQ4 ソースコードを表現として用いることは、一般化性能に優れた解決策を好むインダクティブバイアスをもたらすか？
• RQ5 弱い教師信号（入出力例）のみを用いて、解釈可能で再利用可能なアルゴリズムを、知覚コンポーネントとともに学習できるか？

主な発見

• モデルが新しいタスクを学習した後も、以前のタスクで継続的にパフォーマンスが向上した。これは、効果的な継続的学習と災難的忘却の回避を示している。
• 新しいタスクを学習する中で、共有されたニューラル関数ライブラリの更新のおかげで、以前のタスクのパフォーマンスが向上した。これは、効果的な知識転送を示している。
• ソースコードのモジュラー構造により、ニューラルコンポーネントを任意に使用可能にした。これは、関係のないコンポーネントを分離することで、モデルの忘却に対する耐性を説明できる。
• ハイブリッドモデルは、画像やテキストなどの知覚入力に対して推論を要するタスクにおいて、特に転移学習と一般化の観点で、完全にニューラルなベースラインを上回った。
• ソースコード表現により、解釈可能で人間が検証可能な解決策が得られ、ドメイン知識の統合とフィードバックループの支援が可能になった。
• フレームワークは、短い例でのトレーニングでも、任意のリスト長に一般化するループを含む強力な一般化を持つプログラムを効果的に誘導できた。