[論文レビュー] A General Framework for Interpretable Neural Learning based on Local Information-Theoretic Goal Functions

Abdullah Makkeh, Marcel Graetz+4 more|arXiv (Cornell University)|Jun 3, 2023

Neural Networks and Applications被引用数 5

ひとこと要約

本稿では、部分的情報分解（PID）から導出された局所的情報処理目標を最適化することで学習する人工ニューロンから構成されるインフォモルフィックネットワークを紹介する。微分可能PID測度を活用することで、これらのネットワークは解釈可能で情報理論的な目的関数に基づき、教師あり、教師なし、記憶ベースの学習を実行し、自己組織的で機能的に特化したニューロン動的特性を示している。

ABSTRACT

Despite the impressive performance of biological and artificial networks, an intuitive understanding of how their local learning dynamics contribute to network-level task solutions remains a challenge to this date. Efforts to bring learning to a more local scale indeed lead to valuable insights, however, a general constructive approach to describe local learning goals that is both interpretable and adaptable across diverse tasks is still missing. We have previously formulated a local information processing goal that is highly adaptable and interpretable for a model neuron with compartmental structure. Building on recent advances in Partial Information Decomposition (PID), we here derive a corresponding parametric local learning rule, which allows us to introduce 'infomorphic' neural networks. We demonstrate the versatility of these networks to perform tasks from supervised, unsupervised and memory learning. By leveraging the interpretable nature of the PID framework, infomorphic networks represent a valuable tool to advance our understanding of the intricate structure of local learning.

研究の動機と目的

• 生物学的に妥当で解釈可能な神経計算モデルを構築し、グローバルなタスク意味論に依存せずに局所的情報処理を捉えること。
• 古典的情報理論がニューロンにおけるマルチソース入力統合をモデル化する点で限界を示すのを補うために、部分的情報分解（PID）を用いること。
• 微分可能PID原子を局所的学習目的として用いて人工ニューロンを訓練する可能性を示すこと。
• PIDに基づく学習ルールが、分類、表現学習、連合記憶など多様な学習パラダイムをサポートできることを示すこと。
• 情報理論的原則に基づき、神経回路における自己組織化と機能的特化を研究するためのフレームワークを提供すること。

提案手法

• PID原子（固有情報、重複情報、協同情報、総合情報）の解析的勾配を導出し、PIDフレームワークを通じた誤差逆伝播を可能にする。
• PID原子の重み付き組み合わせに基づく新しい局所的学習ルールを定式化し、各情報成分の相対的重要性を指定するハイパーパrameter（Γ）を導入する。
• ニューロンは学習可能な重み（wR, wC）を介して複数の入力源（受容野および文脈的入力）から入力を統合し、エントロピーおよび相互情報量推定のため、入力をボックスに分割する。
• 2段階の訓練スキームを採用：初期段階で重みのプルバックを実施して学習を安定化させ、その後、適応的学習率（η）と正則化（λ）を用いた標準的な最適化を実行する。
• 入力データを{−1, 1}に属する離散ベクトルとして符号化し、PIDに基づく情報的目標から構成される損失関数を用いて確率的勾配降下法でネットワークを訓練する。
• 微分可能PID測度I^sxを用いて実装することで、情報理論的原則に基づくエンドツーエンドのニューラルネットワーク訓練を可能にする。

Figure 1: Output information of an infomorphic neuron consists of 5 distinct information contributions. A The total output information $H(Y)$ of a neuron that consists of the mutual information with the inputs $I(Y:\mathbf{X}_{R},\mathbf{X}_{C})$ and the stochasticity $H(Y\mid\mathbf{X}_{R},\mathbf{

実験結果

リサーチクエスチョン

• RQ1 人工ニューロンは、部分的情報分解（PID）から導出された局所的で解釈可能な情報処理目標を用いて訓練可能か？
• RQ2 PIDに基づく学習ルールは、教師あり学習、教師なし表現学習、連合記憶など多様な学習パラダイムをどのようにサポートするか？
• RQ3 PID原子（固有情報、重複情報、協同情報）は、ニューラルネットワークの機能的特化および自己組織化にどの程度寄与するか？
• RQ4 微分可能PIDを用いることで、ネットワーク全体への誤差逆伝播が存在しない状況でも、ニューラルネットワークの安定的かつ効果的な訓練が可能になるか？
• RQ5 PIDに基づく学習ルールは、皮質計算の原則を反映する解釈可能で機能的に意味のあるニューラル動的特性を生成できるか？

主な発見

• 適切なハイパーパrameter設定のもと、インフォモルフィックネットワークはPIDに基づく学習ルールを用いて教師あり分類タスクを安定して遂行した。
• 教師なし学習においては、I_unq(Y:R)およびI_unq(Y:C)を目的関数として用いたネットワークが、入力パターン内の独立したバーを学習し、特徴発見を示した。
• 連合記憶タスクでは、Γ = (0.1, 0.1, 1.0, 0.1, 0)の設定のもと、1回の提示後19ステップにわたり保存されたパターンを正常に再構築した。これは、強固な記憶保持性を示している。
• 初期学習段階での重みプルバック（λ > 0）の導入により、特に教師なし表現学習のような複雑なタスクにおいても収束性と安定性が向上した。
• より小さなビンサイズ（例：nR = 20）であっても、連合記憶タスクにおける性能が劣化しなかったため、離散化の選択に対して頑健であることが示された。
• このフレームワークは多様なネットワークアーキテクチャと学習目的をサポートしており、複数のパラダイムにわたりPIDに基づく局所的学習ルールの汎用性を確認した。

Figure 2: Illustration of the basic structure of an infomorphic neuron, inspired by the morphology of cortical pyramidal neurons. A Overlay of coherent infomax neural processor developed originally by Kay and Phillips ( 2011 ) on layer 5 pyramidal cells, highlighting potential parallels to existing