[論文レビュー] Core-Periphery Principle Guided Redesign of Self-Attention in Transformers

Xiaowei Yu, Lu Zhang+7 more|PubMed|Mar 27, 2023

Advanced Memory and Neural Computing被引用数 7

ひとこと要約

本稿では、ビジョントランスフォーマーにおける自己注意機構をコア・パーサイタリティ（CP）ガイドドで再設計したCP-ViTを提案する。この手法は、画像パッチをスパースなCPグラフ構造に再編成し、勾配に基づくパッチ再配分によってコアノードがタスク関連パッチを集約する。本手法は、正確性、効率性、解釈可能性を向上させ、CIFAR-10、CIFAR-100、TinyImageNet、INbreastデータセットにおいて、脳にインspiredされた組織的原則を活用することで最先端の性能を達成する。

ABSTRACT

Designing more efficient, reliable, and explainable neural network architectures is critical to studies that are based on artificial intelligence (AI) techniques. Previous studies, by post-hoc analysis, have found that the best-performing ANNs surprisingly resemble biological neural networks (BNN), which indicates that ANNs and BNNs may share some common principles to achieve optimal performance in either machine learning or cognitive/behavior tasks. Inspired by this phenomenon, we proactively instill organizational principles of BNNs to guide the redesign of ANNs. We leverage the Core-Periphery (CP) organization, which is widely found in human brain networks, to guide the information communication mechanism in the self-attention of vision transformer (ViT) and name this novel framework as CP-ViT. In CP-ViT, the attention operation between nodes is defined by a sparse graph with a Core-Periphery structure (CP graph), where the core nodes are redesigned and reorganized to play an integrative role and serve as a center for other periphery nodes to exchange information. We evaluated the proposed CP-ViT on multiple public datasets, including medical image datasets (INbreast) and natural image datasets. Interestingly, by incorporating the BNN-derived principle (CP structure) into the redesign of ViT, our CP-ViT outperforms other state-of-the-art ANNs. In general, our work advances the state of the art in three aspects: 1) This work provides novel insights for brain-inspired AI: we can utilize the principles found in BNNs to guide and improve our ANN architecture design; 2) We show that there exist sweet spots of CP graphs that lead to CP-ViTs with significantly improved performance; and 3) The core nodes in CP-ViT correspond to task-related meaningful and important image patches, which can significantly enhance the interpretability of the trained deep model.

研究の動機と目的

• 生物神経ネットワーク（BNN）の組織的原則を埋め込むことで、効率性、信頼性、解釈可能性を向上させる脳にインspiredされたニューラルネットワークアーキテクチャの開発を目的とする。
• 人間の脳ネットワークに一般的に見られるコア・パーサイタリティ（CP）構造が、人工ニューラルネットワーク（ANN）アーキテクチャ、特に自己注意機構の再設計を導くことができるかを調査することを目的とする。
• 動的パッチ再配分戦略により、タスク関連パッチに情報伝達を集約することで、モデル性能の向上を図ることを目的とする。
• 分類に最も寄与する高影響力のパッチと関連付けることで、コアノードを意味的で重要な画像パッチに結びつけることにより、モデルの解釈可能性を向上させることを目的とする。

提案手法

• 本手法は、画像パッチ間の注目操作を定義するため、コア・パーサイタリティ（CP）構造を持つスパースなグラフを導入し、コアノードを情報統合の中心ハブとして機能させる。
• パッチ埋め込みに対するネットワーク出力の勾配を計算することでパッチの重要度を評価し、特徴次元にわたるグローバル平均プーリングを用いてパッチ重要度重みを取得する：$\alpha_k = \frac{1}{Z} \sum_{i=1}^{Z} \frac{\partial y}{\partial P^k_i}$。
• 重要度重みが最も高い上位Kパッチを選択し、ノード次数に基づいてコアノードに再配分することで、高影響力のパッチが中心処理に優先的に配置されるようにする。
• トレーニング中に動的にパッチ再配分を更新することで、コアノードがトレーニングの進行に応じて最も関連のある画像パッチに適応的に集中できるようにする。
• CP-ViTというフレームワークは、ビジョントランスフォーマーにおける標準的な自己注意機構を、このCP構造に基づくメッセージスイーピング機構に置き換える。これにより、効率的かつ解釈可能な特徴集約が可能になる。
• 最適なCPグラフ構成を特定するためのハイパーパramータサーチを含み、性能を最大化する「スイートスポット」を同定する。

実験結果

リサーチクエスチョン

• RQ1 生物神経ネットワークから得られるコア・パーサイタリティ（CP）組織的原則を、能動的に人工ニューラルネットワークアーキテクチャの設計に応用できるか？
• RQ2 ビジョントランスフォーマーにCP構造を持つ注目機構を組み込むことで、標準的な自己注意機構と比較して予測性能が向上するか？
• RQ3 CP-ViTのコアノードは意味的に意味のあるタスク関連パッチと一貫して関連付けられるか？ これによりモデルの解釈可能性が向上するか？
• RQ4 最適なCPグラフ構成（すなわち「スイートスポット」）が存在し、モデルの正確性と効率性を顕著に向上させるか？
• RQ5 勾配に基づく重要度に基づく動的パッチ再配分は、計算の無駄を減らしながらモデル性能を向上させるか？

主な発見

• CP-ViTは、CIFAR-10、CIFAR-100、TinyImageNet、および医療用INbreastデータセットを含む複数のベンチマークで、最先端のモデルを上回る性能を達成した。
• トレーニング中に動的再配分によりタスク関連パッチに注目を集中させることで、不要な計算コストを削減しながら正確性を向上させた。
• CP-ViTのコアノードは、常に勾配重要度が高いため、タスクに不可欠な特徴と強く一致しており、明確な整合性を示している。
• 最適なCPグラフ構成が存在し、これらの構成でトレーニングされたモデルは顕著に性能向上を示しており、アーキテクチャ設計における「スイートスポット」が存在することを示唆している。
• 本手法はモデルの解釈可能性を向上させた。コアノードは意味的で重要度の高い画像パッチに対応しており、モデルの意思決定における明確な洞察を可能にした。