[論文レビュー] Neural networks with differentiable structure

Thomas Miconi|arXiv (Cornell University)|Jun 20, 2016

Advanced Neural Network Applications参考文献 4被引用数 10

ひとこと要約

本論文は、出力重みに対するL1正則化を用いて勾配ベースの pruning とニューロンの成長を可能にする、微分可能で動的に調整可能なアーキテクチャを備えた再帰的ニューラルネットワークの学習手法を提案する。このアプローチにより、タスクの複雑さに応じてネットワークが自動的に拡大または縮小可能となり、構造的最適化を勾配降下法で行える。その結果、系列予測タスクにおいて固定サイズのネットワークを上回る性能を達成した。

ABSTRACT

While gradient descent has proven highly successful in learning connection weights for neural networks, the actual structure of these networks is usually determined by hand, or by other optimization algorithms. Here we describe a simple method to make network structure differentiable, and therefore accessible to gradient descent. We test this method on recurrent neural networks applied to simple sequence prediction problems. Starting with initial networks containing only one node, the method automatically builds networks that successfully solve the tasks. The number of nodes in the final network correlates with task difficulty. The method can dynamically increase network size in response to an abrupt complexification in the task; however, reduction in network size in response to task simplification is not evident for reasonable meta-parameters. The method does not penalize network performance for these test tasks: variable-size networks actually reach better performance than fixed-size networks of higher, lower or identical size. We conclude by discussing how this method could be applied to more complex networks, such as feedforward layered networks, or multiple-area networks of arbitrary shape.

研究の動機と目的

• 接続重みだけでなく、ニューロン数や接続性といったネットワーク構造の最適化を勾配降下法で行えるようにすること。
• 深層学習における固定アーキテクチャの限界に対処すること。通常、ネットワークトポロジーは手動で設計され、または微分不能な手法で最適化される。
• 動的に成長するネットワークが、性能とサンプル効率の面で固定サイズのネットワークを上回るかを検証すること。
• ネットワーク構造を微分可能にすることで、バックプロパゲーションを用いたエンドツーエンドの学習を可能にする手法を開発すること。
• 勾配ベースの最適化を用いて、タスクの複雑さの変化に応じて構造的適応が可能かどうかを実証すること。

提案手法

• 各ニューロンの出力重みにL1正則化を導入し、スパースで活性な接続を促進し、出力寄与度が小さい場合のニューロンの「ソフト削除」を促進する。
• 出力重みノルムの合計がこの値未満であるニューロンに対して削除閾値 $T_D$ を定義し、削除の可能性があるとマークする。
• サブスケールのニューロン数を固定値 $k$ に保つ。$k$ 個を超えるサブスケールニューロンが存在する場合、確率 $P_{\text{del}}$ で過剰なニューロンを確率的削除する。
• サブスケールのニューロンが $k$ 個未満の場合、初期重みをランダムに設定した新しいニューロンを追加し、その出力L1ノルムが $T_D$ に等しくなるようにする。これにより初期影響を最小限に抑える。
• 確率的追加と削除を用いることで、訓練の安定性を高め、構造的変化の急激な変動を回避し、滑らかな適応を可能にする。
• 単一のニューロンから学習を開始し、「トポロジーの拡張」原理に従い、必要な場合にのみネットワークが成長するようにする。

実験結果

リサーチクエスチョン

• RQ1 ネットワークアーキテクチャ、特にニューロン数が勾配降下法で最適化可能であり、微分可能であるか。
• RQ2 動的に成長するネットワークアーキテクチャが、系列予測タスクにおいて固定サイズのネットワークを上回るか。
• RQ3 タスクの複雑さが急激に上昇した場合に、ネットワークが自動的にサイズを調整できるか。
• RQ4 勾配降下法による構造的適応が、ネットワークサイズとタスクの難易度の相関を的確に捉えられるか。
• RQ5 この手法をフィードフォワードネットワークやマルチエリアネットワークなど、より複雑なアーキテクチャに拡張可能か。

主な発見

• 可変サイズのネットワークは、同じ最終サイズ（37ニューロン）を持ついかなる固定サイズネットワークよりも中央値の交差エントロピー損失を低く抑え、構造的柔軟性による優れた性能を示した。
• 簡単なタスクでは100,000回の学習サイクル後に14ニューロンに安定化したが、難しいタスクでは37ニューロンにまで成長した。これはタスク難易度に応じたサイズ適応を示している。
• 33,000サイクル目以降にタスクの複雑さが簡単から難しいものに急激に変化した際、ネットワークは正常にニューロン数を増やし、その後複雑さが元に戻った際にも再び収縮し、性能を維持した。
• この手法により、性能の低下を伴わず動的構造変更が可能であり、急激なタスクシフトに対しても頑健であることが示された。
• タスクの要請に応じてネットワークが成長・収縮する能力は、構造的最適化が勾配降下法で実現可能であり、静的設計に比べてより効率的なアーキテクチャを生み出せることを示唆している。
• 「トポロジーの拡張」—初期は小さく、必要に応じてのみ成長する—というアプローチが学習性能を向上させられることを支持する結果が得られた。