[論文レビュー] Contrasting information theoretic decompositions of modulatory and arithmetic interactions in neural information processing systems

Jim Kay, William A. Phillips|arXiv (Cornell University)|Mar 15, 2018

Neural Networks and Applications参考文献 25被引用数 4

ひとこと要約

本稿では、多変量情報分解を用いて、駆動入力の伝達を文脈入力が変調する文脈的変調と、単純な算術演算（加算、減算、乗算、除算）を対比している。文脈的変調は、合成と特異な情報処理を可能にし、特にさまざまな条件下で特に効果的であることが判明した。伝達関数 $ T(r,c) = \frac{1}{2}r(1 + \exp(rc)) $ は、神経科学および文脈に敏感な機械学習の設計にインサイトを提供する。

ABSTRACT

Biological and artificial neural systems are composed of many local processors, and their capabilities depend upon the transfer function that relates each local processor's outputs to its inputs. This paper uses a recent advance in the foundations of information theory to study the properties of local processors that use contextual input to amplify or attenuate transmission of information about their driving inputs. This advance enables the information transmitted by processors with two distinct inputs to be decomposed into those components unique to each input, that shared between the two inputs, and that which depends on both though it is in neither, i.e. synergy. The decompositions that we report here show that contextual modulation has information processing properties that contrast with those of all four simple arithmetic operators, that it can take various forms, and that the form used in our previous studies of artificial neural nets composed of local processors with both driving and contextual inputs is particularly well-suited to provide the distinctive capabilities of contextual modulation under a wide range of conditions. We argue that the decompositions reported here could be compared with those obtained from empirical neurobiological and psychophysical data under conditions thought to reflect contextual modulation. That would then shed new light on the underlying processes involved. Finally, we suggest that such decompositions could aid the design of context-sensitive machine learning algorithms.

研究の動機と目的

• 文脈的変調が神経系における情報処理において単純な算術演算とどのように異なるかを理解すること。
• 文脈的変調が基本的な算術演算子に見られない、特異な情報処理能力を提供するかどうかを調査すること。
• 神経系および人工ネットワークにおける文脈的変調のための特定の伝達関数の適性を評価すること。
• 情報分解が文脈に敏感な機械学習アルゴリズムの設計を支援する可能性を探索すること。
• 情報理論的測度を用いて理論的モデルと実験的神経生物学的・心理物理学的データを比較するフレームワークを提供すること。

提案手法

• 最近の情報理論の進展に基づく多変量相互情報分解を応用し、2つの入力（駆動入力と文脈入力）がローカルプロセッサの出力に与える影響を分析する。
• ウィリアムズとビア（2010）のフレームワークおよび他の研究者による拡張を用いて、相互情報量を固有の、共有の、および合成的な成分に分解する。
• 伝達関数 $ T(r,c) = \frac{1}{2}r(1 + \exp(rc)) $ として定義される文脈的変調の情報分解を、加算、減算、乗算、除算の4つの算術演算子と比較する。
• 合成的およびモデルベースのデータにおける情報分解の計算実装に、dit Pythonパッケージを用いる。
• 情報成分（固有の、共有の、合成的な）が異なる入力条件および伝達関数の下でどのように変化するかを分析する。
• 階層的ネットワークにおける学習ダイナミクスおよび隠れ層の抽象化を検討する分析を拡張し、ディープラーニングおよびビッグデータアルゴリズムへの将来的な応用を示唆する。

実験結果

リサーチクエスチョン

• RQ1 文脈的変調は、加算、減算、乗算、除算の算術演算と比べて、情報分解の観点でどのように異なるか。
• RQ2 多様な入力条件下で、文脈的変調の特徴的な情報処理特性を最も的確に捉える伝達関数は何か。
• RQ3 情報分解は、算術演算に欠けている、文脈的変調に特有の合成的成分を明らかにできるか。
• RQ4 情報分解は、文脈に敏感な機械学習アルゴリズムの分析と改善に、どの程度活用できるか。
• RQ5 文脈に敏感な神経アーキテクチャにおける学習過程で、余計な情報成分や無関係な情報成分はどのように変化するか。

主な発見

• 文脈的変調は、分析された4つの算術演算子のいずれに対しても見られない顕著な合成的成分を生じる。
• 伝達関数 $ T(r,c) = \frac{1}{2}r(1 + \exp(rc)) $（M1と呼ばれる）は、広範な入力条件下で文脈に敏感な情報処理を有効に可能にする点で、特異に効果的である。
• 算術演算とは異なり、文脈的変調は非線形的かつ文脈依存的な駆動入力の増幅または減衰を可能にし、より豊かな情報処理を実現する。
• 情報分解により、文脈的変調が、単独では捉えきれない情報を伝達できることを明らかにした。これは、曖昧性の解消と信号の明瞭化における役割を強調する。
• 本研究は、情報分解が、特にディープネットワークにおける文脈に敏感なアルゴリズムの分析と改善に活用可能である可能性を示唆する。
• 研究結果は、文脈的変調が神経系において特異的かつ強力なメカニズムであるという仮説を支持しており、神経科学および人工知能分野への応用可能性を示している。