[論文レビュー] When, where, and how to add new neurons to ANNs

Kaitlin Maile, Emmanuel Rachelson+2 more|arXiv (Cornell University)|Feb 17, 2022

Neural Networks and Applications被引用数 4

ひとこと要約

この論文では、直交性に基づくトリガーとインフォームド初期化を用いて、訓練中にニューロンを動的に追加する神経新生フレームワークNORTH*を紹介する。訓練中に、いつ、どこに、どのようにネットワークを拡大するかを決定することで、手動でのアーキテクチャチューニングなしに、コンactかつ高性能なアーキテクチャを効率的に収束可能にする。

ABSTRACT

Neurogenesis in ANNs is an understudied and difficult problem, even compared to other forms of structural learning like pruning. By decomposing it into triggers and initializations, we introduce a framework for studying the various facets of neurogenesis: when, where, and how to add neurons during the learning process. We present the Neural Orthogonality (NORTH*) suite of neurogenesis strategies, combining layer-wise triggers and initializations based on the orthogonality of activations or weights to dynamically grow performant networks that converge to an efficient size. We evaluate our contributions against other recent neurogenesis works across a variety of supervised learning tasks.

研究の動機と目的

• 訓練中にニューロンを動的に追加するという未だ十分に検討されていない問題に取り組むため、神経新生をトリガーと初期化に分解する。
• いつ、どこに、どのようにニューロンを追加するかという根本的な問いに答えるフレームワークを開発し、ネットワークの効率性とパフォーマンスを向上させる。
• 活性化値または重みの直交性が、神経新生の有効でスケーラブルなトリガーおよび初期化戦略として機能するかを評価する。
• 動的神経新生が、広範なハイパーパrameterチューニングを伴わずに、静的アーキテクチャに匹敵またはそれを上回るコンパクトで高性能なネットワークを生成できることを示す。

提案手法

• 神経新生を2つのコンponentに分解：トリガー（いつ・どこにニューロンを追加するか）と初期化（新しいニューロンの重みをどのように設定するか）。
• ミニバッチ全体における活性化ベクトルの直交性を測定することで、新しいニューロンの追加が必要なタイミングを検出する活性化直交性に基づくトリガーを提案。
• 重み行列の直交性を評価することで、レイヤー固有のニューロン追加をガイドする重み直交性に基づくトリガーを導入。
• 新しいニューロンパラメータの方向における勾配の大きさを評価することで、学習の可能性を検出する勾配に基づくトリガーを採用。
• 既存のネットワークコンponentsと直交関係を維持するように、ファンインおよびファンアウトの重みを設定する直交性を保全する初期化を採用。
• 勾配更新のたびにトリガーを適用することで、事前に定義されたスケジュールなしに、訓練全体を通して動的かつ適応的なニューロン追加を可能にする。

実験結果

リサーチクエスチョン

• RQ1 活性化値または重みの直交性が、深層ネットワークにおける動的ニューロン追加の有効でスケーラブルなトリガーとして機能するか？
• RQ2 初期化戦略の選択、特に直交性に基づく初期化とランダムまたは勾配に基づく初期化の違いが、動的に拡大されたネットワークのパフォーマンスと収束に与える影響は何か？
• RQ3 訓練中にネットワークを拡大する神経新生戦略は、手動でのアーキテクチャサーチを伴わずに、静的アーキテクチャよりも優れたコンパクト性とパフォーマンスを達成できるか？
• RQ4 異なるトリガー頻度およびハイパーパrameter（例：候補数、活性化バッファサイズ）は、神経新生の効率性と有効性にどのように影響するか？
• RQ5 勾配情報が信頼できない状況における継続的学習や教師なし学習の設定に、神経新生を拡張可能か？

主な発見

• NORTH*戦略は、複数の教師あり学習タスクにおいて、コンパクトでありながら高性能なネットワークを達成し、ベースラインの静的アーキテクチャに比べてモデル効率性と精度で優れている。
• 活性化および重みの直交性をトリガーとして用いることで、特に初期訓練段階において、重複するニューロンの追加を回避する動的ニューロン追加が実現された。
• NORTH*は、GPU効率性において勾配に基づく神経新生手法を上回っているが、計算コストのトレードオフにより、CPU上では後者の方がより効果的である可能性がある。
• このフレームワークにより、関数を保存するニューロン追加が可能となり、新しいニューロンは即座にネットワーク出力を変更せず、勾配更新を通じて学習する。
• 直交性に基づく初期化は、Firefly や NeST のような機能的初期化手法とは異なり、損失関数の地形に disruptive な変更をもたらすリスクを低減する。
• 結果から、神経新生は、高価なスーパーネットワークや繰り返しの手動チューニングを不要にするため、ニューラルアーキテクチャサーチの環境的コストを削減できる可能性があると示唆される。