[논문 리뷰] The Lipschitz Constant of Self-Attention

Hyunjik Kim, George Papamakarios외 1명|arXiv (Cornell University)|2020. 06. 08.

Mental Health Research Topics참고 문헌 34인용 수 29

한 줄 요약

이 논문은 유계가 아닌 입력에 대해 표준 도트곱 자기주의가 리프시츠 연속성이 없음을 증명하고, 리프시츠 연속성 대안으로 L2 자기주의를 제안한다. L2 자기주의의 리프시츠 상수에 대한 이론적 상한을 유도하며, 문자 수준의 언어 모델링을 위한 역가능한 자기주의를 갖춘 트랜스포저에서 실용적 유용성을 입증한다. 안정성과 성능 향상이 확인된다.

ABSTRACT

Lipschitz constants of neural networks have been explored in various contexts in deep learning, such as provable adversarial robustness, estimating Wasserstein distance, stabilising training of GANs, and formulating invertible neural networks. Such works have focused on bounding the Lipschitz constant of fully connected or convolutional networks, composed of linear maps and pointwise non-linearities. In this paper, we investigate the Lipschitz constant of self-attention, a non-linear neural network module widely used in sequence modelling. We prove that the standard dot-product self-attention is not Lipschitz for unbounded input domain, and propose an alternative L2 self-attention that is Lipschitz. We derive an upper bound on the Lipschitz constant of L2 self-attention and provide empirical evidence for its asymptotic tightness. To demonstrate the practical relevance of our theoretical work, we formulate invertible self-attention and use it in a Transformer-based architecture for a character-level language modelling task.

연구 동기 및 목표

• 트랜스포저에서 널리 사용되는 자기주의 기반의 메커니즘의 리프시츠 성질을 분석하는 것. 이는 이전에 이러한 맥락에서 분석되지 않았다.
• 표준 도트곱 자기주의가 유계가 아닌 입력 영역에서 리프시츠 연속성이 아니며, 이는 강건한 학습 응용 분야에서의 활용을 제한한다는 것을 입증하는 것.
• 자기주의의 리프시츠 연속성 대안으로 L2 자기주의를 제안하여, 적대적 강건성, 정규화 흐름, GAN 훈련 등 이론적 보장을 가능하게 하는 것.
• L2 자기주의의 리프시츠 상수에 대한 날것의 이론적 상한을 유도하고, 그 상한의 渐近적 타당성을 실증적으로 검증하는 것.
• 이론적 결과를 실용적으로 적용하기 위해 역가능한 자기주의를 구성하고, 문자 수준의 언어 모델링을 위한 트랜스포저 기반 아키텍처에서 평가하는 것.

제안 방법

• 입력 변화가 유계일지라도 출력 변화가 무한정 빠를 수 있음을 보여, 도트곱 자기주의가 리프시츠 연속성이 아님을 증명한다.
• 쿼리와 키프레임을 L2 정규화하여 출력 변화가 유계가 되도록 보장하는 L2 자기주의를 제안한다.
• 행렬 노름 분석과 공분산 행렬 성질을 사용하여 L2 자기주의의 리프시츠 상수에 대한 상한을 도출한다.
• 유도된 상한을 바탕으로 변환 과정이 이중리프시츠이자 역가능한 변환이 되도록 하여, 역가능한 자기주의 레이어를 구성한다.
• 역가능한 자기주의를 갖춘 트랜스포저 기반 아키텍처를 구현하고, 문자 수준의 언어 모델링에서 평가한다.
• 역가능한 모델의 안정성과 테스트 로그우도를 표준 도트곱 자기주의와 비교하여 실증적으로 평가한다.

실험 결과

연구 질문

• RQ1 표준 도트곱 자기주의는 유계가 아닌 입력 영역에서 리프시츠 연속성이 있는가?
• RQ2 자기주의의 수정된 버전을 리프시츠 연속성이 되도록 구성할 수 있는가?
• RQ3 리프시츠 연속성 자기주의 모듈의 리프시츠 상수에 대한 날것의 이론적 상한은 무엇인가?
• RQ4 이론적 리프시츠 상한을 실용적으로 활용하여 주의 기반 아키텍처에서 역가능한 신경망을 구축할 수 있는가?
• RQ5 리프시츠 연속성 자기주의를 사용하면 시퀀스 모델링 작업에서 훈련 안정성과 성능 향상이 이루어지는가?

주요 결과

• 표준 도트곱 자기주의는 입력 노름이 증가함에 따라 출력 변화가 무한정 빨라질 수 있기 때문에, 입력 영역이 무한할 경우 리프시츠 연속성이 아니다.
• L2 자기주의는 구성상 리프시츠 연속성이 보장되며, 입력 변화에 비례한 출력 변화가 유계임을 보장한다.
• 논문은 L2 자기주의의 리프시츠 상수에 대한 상한을 $ \epsilon^{-1/2} \max_d |\gamma_d| \frac{D^2 - 2}{D} $ 로 유도하였으며, 주어진 가정 하에 성립한다.
• 실증 결과에 따르면 유도된 상한은 고차원 설정에서 실제 리프시츠 상수가 이론적 상한에 점점 수렴하므로 渐近적으로 타당하다.
• 리프시츠 상한을 기반으로 한 역가능한 자기주의 모듈은 표준 도트곱 자기주의 대비 문자 수준 언어 모델링에서 더 높은 훈련 안정성과 경쟁 가능한 테스트 로그우도를 달성한다.
• 이론적 프레임워크는 정규화 흐름, GAN, 적대적 강건성 등 리프시츠 제약 조건이 필요한 응용 분야에서 자기주의의 활용 가능성을 열어준다.