[論文レビュー] Context-sensitive neocortical neurons transform the effectiveness and efficiency of neural information processing

Khubaib Ahmed, Ahsan Adeel+2 more|arXiv (Cornell University)|Jul 15, 2022

Advanced Memory and Neural Computing被引用数 4

ひとこと要約

本稿では、前向き入力をアポジタル dendrite からの文脈的調整と統合する文脈感受性のある二点ニューロンを用いた生物学的インスピレーションを受けて設計された深層学習アーキテクチャを提案する。文脈的入力に基づいて関連する信号を強調し、不適切な信号を抑制することで、複雑でノイズの多い現実世界のデータ処理において、優れた効率性と耐障害性を達成する。音声視覚的会話のノイズ除去タスクを通じて、神経活動が低減され、部品の故障に対しても耐性が向上することが実証された。

ABSTRACT

Deep learning (DL) has big-data processing capabilities that are as good, or even better, than those of humans in many real-world domains, but at the cost of high energy requirements that may be unsustainable in some applications and of errors, that, though infrequent, can be large. We hypothesise that a fundamental weakness of DL lies in its intrinsic dependence on integrate-and-fire point neurons that maximise information transmission irrespective of whether it is relevant in the current context or not. This leads to unnecessary neural firing and to the feedforward transmission of conflicting messages, which makes learning difficult and processing energy inefficient. Here we show how to circumvent these limitations by mimicking the capabilities of context-sensitive neocortical neurons that receive input from diverse sources as a context to amplify and attenuate the transmission of relevant and irrelevant information, respectively. We demonstrate that a deep network composed of such local processors seeks to maximise agreement between the active neurons, thus restricting the transmission of conflicting information to higher levels and reducing the neural activity required to process large amounts of heterogeneous real-world data. As shown to be far more effective and efficient than current forms of DL, this two-point neuron study offers a possible step-change in transforming the cellular foundations of deep network architectures.

研究の動機と目的

• 現在の深層学習モデルが統合・発火型点ニューロンに依存しており、文脈に関係なくすべての入力を均一に処理するため、高いエネルギー消費と非効率性を示しているという問題に対処すること。
• アポジタル dendrite が文脈的関連性に基づいて基本的入力の伝達を調整する、文脈感受性のネオコルティカルニューロンを模倣することで、処理の効率性と有効性が向上するかどうかを検討すること。
• このようなニューロンが不要な神経発火や情報伝達の衝突を低減させ、より効率的な学習と低いエネルギー消費を実現するかどうかを示すこと。
• 実世界の複雑なタスクとして、複数話者と低SNR条件下での音声視覚的会話のノイズ除去において、このアプローチを検証すること。
• 部品の損傷が生じても高い性能を維持できることを示し、文脈に応じた処理によって耐障害性が確保されることを示すこと。

提案手法

• 基本的 dendrite が前向き入力（例：音声視覚的特徴）を受信し、アポジタル dendrite が隣接プロセッサーや遠隔ネットワーク領域、記憶から文脈的入力を受信する二点ニューロンアーキテクチャを採用する。
• アポジタル dendrite での文脈統合が、学習されたゲーティング機構を通じて前向き信号の伝達を調整し、整合的で関連性の高い入力を強調し、不適切なものを減衰させる。
• 局所的、遠隔的、普遍的な入力を組み合わせて動的ゲイン係数を計算する文脈に応じたゲーティング関数を用いて、ゲーティングを実装する。
• 共有エンコーダ・デコーダ構造を用いた変更されたオートエンコーダ設定でネットワークを学習させ、エンコーダは文脈感受性プロセッサを用い、デコーダは符号化された特徴からクリアな音声を再構成する。
• プロセッサをランダムに無効化（0に設定）することで耐障害性をテストし、無効化率を P = 0 から 0.5 の範囲で変化させる。
• 損失関数には標準の再構成損失とELBO損失を用い、ReLU活性化関数、バッチ正規化、Glorot均一重み初期化を適用する。

実験結果

リサーチクエスチョン

• RQ1 文脈感受性のある二点ニューロンは、関連する情報のみを効率的に伝達することで、神経活動を低減し、深層学習におけるエネルギー効率を向上させることができるか？
• RQ2 アポジタル dendrite からの文脈的調整が、現実世界のノイズの多い音声視覚処理タスクにおける前向き信号の伝達にどのように影響するか？
• RQ3 提案されたアーキテクチャは、部品の故障に対する耐障害性において、標準的な深層学習モデルをどれほど上回るか？
• RQ4 局所的、遠隔的、記憶からの複数のソースからの文脈的入力を統合することで、異種で複雑な現実世界データの処理能力が向上するか？
• RQ5 生物学的インスピレーションを受けて設計されたこのアーキテクチャは、最小限の神経活動で高い性能を達成でき、ネオコルティックスの効率性を模倣できるか？

主な発見

• 文脈感受性のある二点ニューロンモデルは、低SNRおよび複数話者条件下でも、標準的な深層学習モデルと比較して顕著に神経活動が低減した状態で、音声視覚的会話のノイズ除去において優れた性能を示した。
• プロセッサの損傷に対して高い耐性を示し、最大25％のプロセッサをランダムに無効化しても性能を維持した。ベースラインモデルに比べて耐障害性が優れていた。
• 実証的結果から、再構成品質は1％の誤差閾値を超えると急激に低下することが判明し、モデルの安定性における臨界点が特定された。
• 隣接および遠隔プロセッサーからの文脈的入力の統合により、特徴選択が向上し、矛盾するか不適切な信号の伝達が削減された。
• クリアな特徴が提供された場合には、再構成がほぼ完璧に達成された。これは、エンコーダの特徴品質が文脈感受性処理によって決定づけられ、最終出力品質の主因であることを確認した。
• 文脈統合ゾーンの導入により、前向き信号の動的かつ適応的なゲーティングが可能となり、より効率的かつ効果的な情報処理が実現した。