[논문 리뷰] Core-Periphery Principle Guided Redesign of Self-Attention in Transformers

Xiaowei Yu, Lu Zhang외 7명|PubMed|2023. 03. 27.

Advanced Memory and Neural Computing인용 수 7

한 줄 요약

이 논문은 시각 Transformer에서 자기주의를 핵심-주변(Core-Periphery, CP) 원칙에 따라 재설계한 CP-ViT를 제안한다. 이는 이미지 패치를 희박한 CP 그래프 구조로 재조직화하며, 핵심 노드가 기울기 기반 패치 재배치를 통해 작업에 관련된 패치를 통합한다. 이 방법은 정확도, 효율성, 해석 가능성 향상으로 이어지며, 뇌에 영감을 받은 조직 원칙을 활용하여 CIFAR-10, CIFAR-100, TinyImageNet 및 INbreast 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

Designing more efficient, reliable, and explainable neural network architectures is critical to studies that are based on artificial intelligence (AI) techniques. Previous studies, by post-hoc analysis, have found that the best-performing ANNs surprisingly resemble biological neural networks (BNN), which indicates that ANNs and BNNs may share some common principles to achieve optimal performance in either machine learning or cognitive/behavior tasks. Inspired by this phenomenon, we proactively instill organizational principles of BNNs to guide the redesign of ANNs. We leverage the Core-Periphery (CP) organization, which is widely found in human brain networks, to guide the information communication mechanism in the self-attention of vision transformer (ViT) and name this novel framework as CP-ViT. In CP-ViT, the attention operation between nodes is defined by a sparse graph with a Core-Periphery structure (CP graph), where the core nodes are redesigned and reorganized to play an integrative role and serve as a center for other periphery nodes to exchange information. We evaluated the proposed CP-ViT on multiple public datasets, including medical image datasets (INbreast) and natural image datasets. Interestingly, by incorporating the BNN-derived principle (CP structure) into the redesign of ViT, our CP-ViT outperforms other state-of-the-art ANNs. In general, our work advances the state of the art in three aspects: 1) This work provides novel insights for brain-inspired AI: we can utilize the principles found in BNNs to guide and improve our ANN architecture design; 2) We show that there exist sweet spots of CP graphs that lead to CP-ViTs with significantly improved performance; and 3) The core nodes in CP-ViT correspond to task-related meaningful and important image patches, which can significantly enhance the interpretability of the trained deep model.

연구 동기 및 목표

• 생물학적 신경망(BNN)의 조직 원칙을 통합함으로써 효율성, 신뢰성, 해석 가능성을 향상시키는 뇌에 영감을 받은 신경망 아키텍처를 개발하는 것.
• 인간 뇌 네트워크에서 흔히 볼 수 있는 핵심-주변(CP) 구조가 인공신경망(ANN) 아키텍처, 특히 자기주의 메커니즘의 재설계를 이끌 수 있는지 탐구하는 것.
• 동적 패치 재배치 전략을 통해 작업에 관련된 이미지 패치에 정보 흐름을 집중시켜 모델 성능을 향상시키는 것.
• 핵심 노드를 의미 있고 영향력 있는 이미지 패치와 연관시켜 모델의 해석 가능성을 향상시키는 것.

제안 방법

• 이 방법은 이미지 패치 간의 주의 작동을 정의하기 위해 핵심-주변(CP) 구조를 가진 희박한 그래프를 도입하며, 핵심 노드는 정보 통합을 위한 중심 허브 역할을 한다.
• 패치 임bedding에 대한 네트워크 출력의 기울기를 계산하여 패치 중요도를 평가하며, 특성 차원에 대해 전역 평균 풀링을 사용하여 패치 중요도 가중치를 확보한다: $\alpha_k = \frac{1}{Z} \sum_{i=1}^{Z} \frac{\partial y}{\partial P^k_i}$.
• 가장 높은 중요도 가중치를 가진 상위-K 패치를 선택하고, 노드의 차수에 따라 핵심 노드로 재배치하여 영향력 있는 패치가 중심 처리에 우선 배치되도록 보장한다.
• 패치 재배치는 학습 중에 동적으로 업데이트되며, 학습이 진행됨에 따라 핵심 노드가 가장 관련 있는 이미지 패치에 적응적으로 집중할 수 있도록 한다.
• 이 프레임워크는 CP-ViT로 명명되며, 시각 Transformer의 표준 자기주의를 이 CP-구조 메시지 전달 메커니즘으로 대체하여 효율적이고 해석 가능한 특징 집계를 가능하게 한다.
• 최적의 CP 그래프 구성에 대한 초모수 탐색을 포함하여 성능을 극대화하는 '황금 구간(sweet spots)'을 식별한다.

실험 결과

연구 질문

• RQ1 생물학적 신경망에서 흔히 볼 수 있는 핵심-주변(CP) 조직 원칙을 능동적으로 활용하여 인공신경망 아키텍처 설계를 이끌 수 있는가?
• RQ2 시각 Transformer에 CP 구조를 가진 주의 메커니즘을 통합할 경우, 표준 자기주의와 비교해 예측 성능이 향상되는가?
• RQ3 CP-ViT의 핵심 노드는 의미적으로 유의미한 작업 관련 이미지 패치와 일관되게 연관될 수 있는가? 이는 모델의 해석 가능성을 향상시킨다.
• RQ4 최적의 CP 그래프 구성(즉, '황금 구간')이 존재하여 모델 정확도와 효율성을 크게 향상시킬 수 있는가?
• RQ5 기울기 기반 중요도에 기반한 동적 패치 재배치가 모델 성능을 향상시키면서도 계산 낭비를 줄이는가?

주요 결과

• CP-ViT는 CIFAR-10, CIFAR-100, TinyImageNet 및 의료용 INbreast 데이터셋을 포함한 여러 벤치마크에서 최신 기준 모델을 능가한다.
• 학습 중 동적 재배치를 통해 작업에 관련된 패치에 집중함으로써 불필요한 계산 비용을 줄이며 정확도를 향상시킨다.
• CP-ViT의 핵심 노드는 항상 기울기 중요도가 높은 이미지 패치와 일관되게 연관되어 있어, 작업에 핵심적인 기능과 강한 일치를 보인다.
• 최적의 CP 그래프 구성이 존재하며, 이러한 구성으로 학습된 모델은 성능이 크게 향상되어 아키텍처 설계에서 '황금 구간'이 존재함을 시사한다.
• 이 방법은 핵심 노드가 의미 있고 중요한 이미지 패치와 대응함으로써 모델 결정 과정에 대한 명확한 통찰을 제공함으로써 모델의 해석 가능성을 향상시킨다.