[논문 리뷰] Understanding Self-attention Mechanism via Dynamical System Perspective

Zhongzhan Huang, Mingfu Liang외 3명|arXiv (Cornell University)|2023. 08. 19.

Neural Networks and Reservoir ComputingComputer Science인용 수 3

한 줄 요약

이 논문은 자기주의 메커니즘(SAM)을 동적 시스템 관점에서 다루어, 특성 궤적 내 임베디드 강성 현상(SP)을 측정함으로써 신경망의 표현 능력을 향상시키는 강성 인지적 단계 크기 조절자로 설명한다. 잔차 신경망을 미분방정식(OED) 해법기로 모델링함으로써, 저자들은 SAM이 강성 추정을 정교화하여 실제(GT) 궤적에 가까워지게 됨을 보여주며, 이는 성능 향상으로 이어지고, 새로운 StepNet 아키텍처를 제안하여 비전 벤치마크에서 최신 기술 성능을 달성한다.

ABSTRACT

The self-attention mechanism (SAM) is widely used in various fields of artificial intelligence and has successfully boosted the performance of different models. However, current explanations of this mechanism are mainly based on intuitions and experiences, while there still lacks direct modeling for how the SAM helps performance. To mitigate this issue, in this paper, based on the dynamical system perspective of the residual neural network, we first show that the intrinsic stiffness phenomenon (SP) in the high-precision solution of ordinary differential equations (ODEs) also widely exists in high-performance neural networks (NN). Thus the ability of NN to measure SP at the feature level is necessary to obtain high performance and is an important factor in the difficulty of training NN. Similar to the adaptive step-size method which is effective in solving stiff ODEs, we show that the SAM is also a stiffness-aware step size adaptor that can enhance the model's representational ability to measure intrinsic SP by refining the estimation of stiffness information and generating adaptive attention values, which provides a new understanding about why and how the SAM can benefit the model performance. This novel perspective can also explain the lottery ticket hypothesis in SAM, design new quantitative metrics of representational ability, and inspire a new theoretic-inspired approach, StepNet. Extensive experiments on several popular benchmarks demonstrate that StepNet can extract fine-grained stiffness information and measure SP accurately, leading to significant improvements in various visual tasks.

연구 동기 및 목표

• 딥 신경망 내 강성 미분방정식(ODE)의 수치적 해법과 자기주의 메커니즘(SAM) 간의 직접적 연결을 수립하기 위해.
• 고성능 표현 학습을 방해하는 핵심 요인으로서의 강성 현상(SP)을 규명하기 위해.
• SAM이 강성 인지적 단계 크기 조절자로 기능하여, SP 측정 능력과 실제(GT) 궤적에의 접근 능력을 향상시킴으로써 모델의 표현 능력을 향상시킨다는 것을 입증하기 위해.
• SP 및 특성 궤적 성질의 관점에서 자기주의 내 로또터켓 가설(LTH4SA)을 설명하기 위해.
• 신경망 표현 능력을 평가하기 위한 새로운 이론적 프레임워크와 지표(TNS)를 개발하고, 이를 기반으로 새로운 아키텍처인 StepNet을 설계하기 위해.

제안 방법

• 비강성 지표(NSI)와 강성 비율 지표를 사용하여 특성 수준에서 강성 현상(SP)을 정의한다.
• 잔차 신경망을 ODE의 프wdward Euler 이산화로 모델링하고, 각 잔차 블록을 시간 단계로 해석한다.
• 고성능 모델에서 유도된 내재된 SP를 지닌 최적의 해 경로로 실제(GT) 궤적을 정의한다.
• 이론적 및 실증적으로 SAM이 강성 추정을 정교화하고 SP를 측정하는 주의 값 생성을 통해 적응형 단계 크기 방법으로 기능함을 보여준다.
• 학습 가능한 강성 인지 모듈을 통해 세밀한 강성 정보를 명시적으로 추출하는 이론 기반 아키텍처인 StepNet을 제안한다.
• SP 측정 능력 평가를 정량적으로 가능하게 하는 새로운 표현 능력 지표인 TNS(총 비강성 스코어)를 설계한다.

실험 결과

연구 질문

• RQ1 자기주의 메커니즘은 딥 신경망 내 강성 ODE의 수치적 해법과 어떻게 관련이 있는가?
• RQ2 SAM은 히وري스틱적 설명을 넘어서 왜이고 어떻게 성능을 향상시키는가?
• RQ3 고성능 신경망 특성 궤적에서 강성 현상(SP)의 역할은 무엇인가?
• RQ4 자기주의 내 로또터켓 가설(LTH4SA)은 특성 궤적 내 내재된 SP 성질로 설명될 수 있는가?
• RQ5 SAM과 SP의 동적 시스템 관점에 기반하여 새로운 아키텍처를 설계해 성능 향상을 이끌 수 있는가?

주요 결과

• 고성능 신경망에서 강성 현상(SP)은 흔히 발생하며, 실제(GT) 특성 궤적은 소수의 시간 단계에서 SP를 나타내며, 이는 물리적 동적 시스템과 일치한다.
• 자기주의 메커니즘은 강성 인지적 단계 크기 조절자로 기능하여 강성 추정을 정교화하고 SP를 측정하는 적응형 주의 값을 생성함으로써, 실제(GT) 궤적에 가까이 접근하게 한다.
• 총 비강성 스코어(TNS)는 모델 정확도와 강한 정적 상관관계를 보이며, 표현 능력에 대한 타당한 정량적 지표임을 시사한다.
• 이론 기반 아키텍처인 StepNet은 세밀한 강성 정보를 명시적으로 추출함으로써 여러 비전 벤치마크에서 뚜렷한 성능 향상을 달성한다.
• 자기주의 내 로또터켓 가설(LTH4SA)은 궤적 내 일부 특성만이 SP를 유도하기 때문에, 일부 블록에 SAM을 삽입하는 것으로도 성능 향상이 충분히 달성된다는 점에서 설명된다.
• 실증 결과로 잘 훈련된 모델의 특성 궤적은 SP를 보이며, SAM의 SP 측정 능력은 모델 정확도와 강하게 상관됨을 보였다.