[논문 리뷰] Transformers from an Optimization Perspective

Yongyi Yang, Zengfeng Huang외 1명|arXiv (Cornell University)|2022. 05. 27.

Explainable Artificial Intelligence (XAI)인용 수 6

한 줄 요약

이 논문은 에너지 함수의 최소화가 각 트랜스포머 레이어의 순방향 전파를 밀도적으로 근사하는 최적화 기반의 새로운 해석을 제안한다. 자기주의와 피드포워드 네트워크를 이 에너지 함수 상에서 번갈아가며 최소화하는 방식으로 접근함으로써, 트랜스포머가 전개된 최적화 과정과의 이론적 기반을 구축하며, 주목사용 메커니즘에 대한 새로운 통찰과 맞춤형 모델 설계의 가능성을 제시한다.

ABSTRACT

Deep learning models such as the Transformer are often constructed by heuristics and experience. To provide a complementary foundation, in this work we study the following problem: Is it possible to find an energy function underlying the Transformer model, such that descent steps along this energy correspond with the Transformer forward pass? By finding such a function, we can view Transformers as the unfolding of an interpretable optimization process across iterations. This unfolding perspective has been frequently adopted in the past to elucidate more straightforward deep models such as MLPs and CNNs; however, it has thus far remained elusive obtaining a similar equivalence for more complex models with self-attention mechanisms like the Transformer. To this end, we first outline several major obstacles before providing companion techniques to at least partially address them, demonstrating for the first time a close association between energy function minimization and deep layers with self-attention. This interpretation contributes to our intuition and understanding of Transformers, while potentially laying the ground-work for new model designs.

연구 동기 및 목표

• 해석 가능한 에너지 함수를 최소화하는 최적화 과정의 반복과 트랜스포머 레이어 사이에 일대일 대응을 수립하기 위해.
• 자기주의와 피드포워드 네트워크를 통합된 에너지 기반 프레임워크에 통합하는 데 도전하기 위해.
• 특정 조건 하에서 트랜스포머의 순방향 전파가 근사적인 에너지 최소화로 설명될 수 있는 이론적 근거를 제공하기 위해.
• 에너지 함수 구성 요소의 선택과 주목사용 행동의 연관성을 통해 새로운 모델 설계 통찰을 가능하게 하기 위해.
• 실제 트랜스포머 모델에서 에너지 함수가 레이어 간에 단조롭게 감소하는지 실험적으로 검증하기 위해.

제안 방법

• 비선형 활성화 함수 ρ(z) = -e^(-z)를 사용하여 자기주의를 최소화 문제로 모델링하는 에너지 함수를 유도하며, 이는 소프트맥스 정규화에 해당한다.
• 자기주의와 피드포워드 구성 요소를 동시에 최적화할 수 있는 새로운 번갈아 최소화 기법을 도입하여, 단일 에너지 함수 내에서 모듈성의 이질성을 해결한다.
• 에너지 함수 내 비선형 활성화를 다루기 위해 프록시멀 방법을 적용하여, 비부드러운 항을 포함한 기울기 기반 최적화를 가능하게 한다.
• 표준 프로베니우스 노름 정규화를 데이터 적합성 항 ‖Y - X‖²_F로 대체하여 탈진된 표현을 방지하고, 실질적인 잔차 연결과 일치시킨다.
• IMDB 및 SST2 데이터셋에서 랜덤으로 초기화된 12층 트랜스포머와 훈련된 트랜스포머에서 레이어 간 에너지 곡선을 실험적으로 평가한다.
• 에너지 함수가 레이어 간에 단조롭게 감소함을 입증하여 이론적 수렴 주장에 대한 지지를 받는다.

실험 결과

연구 질문

• RQ1 자기주의와 피드포워드 네트워크를 동시에 모델링할 수 있는 통합된 에너지 함수를 구성할 수 있는가? 이때 각 트랜스포머 레이어가 에너지 최소화의 내림걸음 단계에 해당한다.
• RQ2 자기주의와 피드포워드 네트워크를 해석 가능성 유지 조건 하에서 단일 에너지 함수 내에서 공동으로 모델링할 수 있는가?
• RQ3 비선형 활성화와 임의의 가중치 행렬은 에너지 최소화 프레임워크에서 어떤 역할을 하는가? 이들은 어떻게 다뤄질 수 있는가?
• RQ4 실제 트랜스포머 모델의 순방향 전파 중 유도된 에너지 함수는 어느 정도 감소하는가?
• RQ5 에너지 함수 내 ρ 함수의 다른 선택지가 해석 가능한 인덕티브 바이어스를 가진 새로운 주목사용 메커니즘을 이끌 수 있는가?

주요 결과

• 유도된 에너지 함수는 이론적 조건 하에서 트랜스포머의 자기주의 모듈 행동을 밀도적으로 재현하며, 레이어 간 에너지가 감소함을 보였다.
• 실험 결과, IMDB 및 SST2 데이터셋에서 랜덤으로 초기화된 12층 트랜스포머와 훈련된 트랜스포머 모두에서 에너지 함수가 레이어 간에 단조롭게 감소함을 확인하였다.
• 에너지 함수의 최소화 프레임워크는 특정 ρ(z) = -e^(-z) 선택에 의해 유도된 소프트맥스 주목사용 메커니즘을 설명하며, 주목사용을 최적화로 재해석할 수 있도록 한다.
• ρ(z)의 다른 선택지, 예를 들어 log(z+2)는 토큰 간 더 이질적인 표현을 선호하는 주목사용 메커니즘을 이끌어내어 설계의 유연성을 보여준다.
• 에너지 함수의 최소화 프레임워크는 데이터 적합성 항 ‖Y - X‖²_F를 통해 잔차 연결을 지원하며, 이는 탈진된 표현을 방지하고 표준 트랜스포머 관행과 일치한다.
• 이론적 수렴 결과는 미약한 기술적 조건 하에서도 성립하며, 실험적 증거는 이러한 조건이 실용적 환경에서 만족될 가능성이 높음을 시사한다.