[논문 리뷰] A Mathematical Theory of Attention

James Vuckovic, Aristide Baratin외 1명|arXiv (Cornell University)|2020. 07. 06.

Neural Networks and Applications참고 문헌 33인용 수 8

한 줄 요약

이 논문은 측度 이론과 마르코프 커널을 사용하여 어텐션에 대한 엄밀한 수학적 프레임워크를 개발하며, 자기어텐션을 상호작용하는 입자 시스템으로 모델링하고 적절한 거리 척도 하에서 리프시츠 연속성을 증명한다. 어텐션은 최대 엔트로피 문제를 해결함으로써 성공을 보장하는 원리적인 이론적 기반을 제공한다.

ABSTRACT

Attention is a powerful component of modern neural networks across a wide variety of domains. However, despite its ubiquity in machine learning, there is a gap in our understanding of attention from a theoretical point of view. We propose a framework to fill this gap by building a mathematically equivalent model of attention using measure theory. With this model, we are able to interpret self-attention as a system of self-interacting particles, we shed light on self-attention from a maximum entropy perspective, and we show that attention is actually Lipschitz-continuous (with an appropriate metric) under suitable assumptions. We then apply these insights to the problem of mis-specified input data; infinitely-deep, weight-sharing self-attention networks; and more general Lipschitz estimates for a specific type of attention studied in concurrent work.

연구 동기 및 목표

• 딥 러닝 모델에서 널리 사용되고 있음에도 불구하고 어텐션을 이해하는 데 있어 이론적 격차를 메우기 위해.
• 엄밀한 분석을 가능하게 하기 위해 측도 이론과 마르코프 커널을 사용하여 어텐션의 수학적으로 동치인 모델을 개발하기 위해.
• 어텐션의 기초적 성질, 예를 들어 거리 척도 하에서의 연속성과 엔트로피 최대화 프레임워크 하에서의 최적성 등을 확립하기 위해.
• 이론적 통찰을 실용적 문제에 적용하기 위해: 입력에 대한 강건성, 무한히 깊은 네트워크, 일반화된 리프시츠 상한

제안 방법

• 질문-키-값 상호작용을 표현하기 위해 확률 측도와 마르코프 커널을 사용하여 어텐션을 모델링하기 위해.
• 자기어텐션을 확률 측도의 공간 위의 비선형 변환으로 공식화하기 위해.
• 쿨백-라이블러 투영을 사용하여 어텐션을 최대 엔트로피 문제를 해결하는 것으로 해석하기 위해.
• 측도가 값이 부여된 역학과 워샤르슈타인 거리 척도 도구를 사용하여 정규성 분석하기 위해.
• 1-워샤르슈타인 거리에서 리프시츠 연속성 추정치를 유도하고 리프시츠 상수에 대한 명시적 상한을 도출하기 위해.
• 결과를 가중치 공유, 무한히 깊은 네트워크로 확장하고 동시에 진행 중인 연구에서의 유계성 가정을 완화하기 위해.

실험 결과

연구 질문

• RQ1 측도 이론을 사용하여 어텐션을 공식적으로 모델링하면 어떤 식으로 엄밀한 분석이 가능해지는가?
• RQ2 자기어텐션은 상호작용하는 입자 시스템의 관점에서 어떻게 구조적으로 해석될 수 있는가?
• RQ3 어텐션은 엔트로피 기반 최적화 프레임워크에서 최적 해에 해당하는가?
• RQ4 적절한 척도 하에서 어텐션은 리프시츠 연속적인가? 그리고 리프시츠 상수에 대해 어떤 상한을 설정할 수 있는가?
• RQ5 이론적 통찰은 잘못 지정된 입력에 대한 강건성과 깊은 아키텍처에 어떻게 적용되는가?

주요 결과

• 어텐션은 비선형 측도 변환을 통해 진화하는 자기상호작용 입자 시스템과 수학적으로 동치이다.
• 자기어텐션은 최대 엔트로피 문제를 해결하고 최소 엔트로피 투영을 수행함으로써 변분적 관점에서 최적성을 입증한다.
• 어 attention은 1-워샤르슈타인 거리에서 리프시츠 연속성이 증명되었으며, 리프시츠 상수에 대한 명시적 상한이 존재한다.
• 이 프레임워크를 통해 가중치 공유, 무한히 깊은 자기어텐션 네트워크의 분석이 가능하며, 깊이에 따른 안정성이 입증된다.
• 이론은 동시 진행 중인 연구와 비교해 유계성 가정을 완화한 일반화된 리프시츠 추정치를 제공한다.
• 이 모델은 자기어텐션 네트워크에서 문맥 임bedding 간격에 대한 검증 가능한 예측을 유도할 수 있으며, 부정을 포함한 문장에 대한 예측도 가능하다.