[論文レビュー] Transfer entropy-based feedback improves performance in artificial neural networks

Sebastian Herzog, Christian Tetzlaff+1 more|arXiv (Cornell University)|Jun 13, 2017

Neural dynamics and brain function参考文献 35被引用数 5

ひとこと要約

この論文は、人工ニューラルネットワークにおけるフィードバック機構を提案し、伝達エントロピーを用いて最も関連性の高いフィードフォワード経路を特定・強調することで、浅いAlexNetアーキテクチャにおいて顕著な性能向上を達成する。ニューロン間の伝達エントロピーに基づいてフィードバック接続を構造化することで、層数を増やさず、追加パラメータを最小限に抑えても、CIFAR-10で10%の精度向上を達成し、深層ネットワークの最先端性能に匹敵する。

ABSTRACT

The structure of the majority of modern deep neural networks is characterized by uni- directional feed-forward connectivity across a very large number of layers. By contrast, the architecture of the cortex of vertebrates contains fewer hierarchical levels but many recurrent and feedback connections. Here we show that a small, few-layer artificial neural network that employs feedback will reach top level performance on a standard benchmark task, otherwise only obtained by large feed-forward structures. To achieve this we use feed-forward transfer entropy between neurons to structure feedback connectivity. Transfer entropy can here intuitively be understood as a measure for the relevance of certain pathways in the network, which are then amplified by feedback. Feedback may therefore be key for high network performance in small brain-like architectures.

研究の動機と目的

• 深さやパラメータ数を増加させずに、浅い数層の人工ニューラルネットワーク（AlexNet）の性能を向上させること。
• 伝達エントロピーで構造化されたフィードバック接続が、信号スループットと分類精度を向上させることを調査すること。
• 後退的フィードバックが豊富で階層的な構造を持つVertebrateの皮質を模倣することで、人工ニューラルネットワークと脳の間のアーキテクチャ的ギャップを埋めること。
• 伝達エントロピーが、深層ネットワークにおける高関連性の処理経路を特定する生物学的に妥当な指標として機能するかを検証すること。

提案手法

• フィードフォワード経路内のニューロン間の伝達エントロピーを計算し、1つのノードから別のノードへの情報伝達の関連性を定量化する。
• 伝達エントロピーを基準としてフィードバック接続性を定義する：離れたノード間の伝達エントロピーが高ければ、それに応じてフィードバックの強化が強くなる。
• AlexNetの畳み込み層2〜5の間でのみフィードバック重みを導入し、フィードバック強度を伝達エントロピー値に比例させる。
• 中間層を条件付けにして、特に非隣接層間の長距離情報伝達を評価する。
• 再トレーニングを伴わず、バックプロパゲーション後にのみフィードバック重みを追加する。これにより、元のネットワークの学習済み特徴が保持される。
• d=1の簡略化された離散時間形式の伝達エントロピーを用い、順次的な画像入力を想定してノード活動間の因果的影響を推定する。

実験結果

リサーチクエスチョン

• RQ1 伝達エントロピーで構造化されたフィードバック接続は、浅い人工ニューラルネットワークの分類性能を向上させることができるか？
• RQ2 伝達エントロピーは、フィードバックによる強調に適した最も関連性の高いフィードフォワード経路を特定する信頼性のある指標として機能するか？
• RQ3 伝達エントロピーに基づくフィードバックと、ランダムまたは均等に分布したフィードバックとを比較した場合、性能向上にどのような差が生じるか？
• RQ4 ターゲットされたフィードバックを備えた数層のネットワークが、はるかに深い標準的なフィードフォワードネットワークの性能にどの程度まで近づけるか？
• RQ5 伝達エントロピーによって生成されたフィードバックパターンと、Vertebrateの新皮質で観察されるフィードバック接続性に、構造的な類似性があるか？

主な発見

• 伝達エントロピーに基づくフィードバック機構により、標準的なフィードフォワードAlexNetと比較してCIFAR-10のトップ1精度が10%向上し、はるかに深い最先端モデルと同等の性能を達成した。
• この向上は、接続数が約75%増加し、追加パラメータは最小限に抑えられ、すべてがトレーニング後に追加された小さな重みであった。
• フィードバック接続は主に長距離に及んでおり、隣接層間の伝達エントロピーと比較して、遠く離れた層間の伝達エントロピーが高かったため、長距離経路の信号が強く強調された。
• 制御実験では、フィードバックが伝達エントロピーに基づく構造に従わない場合、性能が低下したため、提案された接続ルールの重要性が確認された。
• このフレームワークは、深層ネットワークに一般的に見られる低フォワードコンvergenceの経路を自然に強調した一方で、すでに強い局所的接続への強調を最小限に抑え、異常な活動の拡大を防いだ。
• 得られたフィードバックアーキテクチャは、哺乳類の新皮質で観察されるフィードフォワードとフィードバックが交互に配置された接続パターンに類似しており、この手法の生物学的妥当性を示唆している。