[논문 리뷰] Formal Algorithms for Transformers

Mary Phuong, Marcus Hütter|arXiv (Cornell University)|2022. 07. 19.

Energy Load and Power Forecasting인용 수 52

한 줄 요약

이 논문은 임의의 실험 결과를 제시하지 않고, 트랜스포머 아키텍처에 대한 자기 포함적이고 수학적으로 정밀한 개요와 핵심 알고리즘의 형식적 의사코드(training, inference 포함)을 제공합니다.

ABSTRACT

This document aims to be a self-contained, mathematically precise overview of transformer architectures and algorithms (*not* results). It covers what transformers are, how they are trained, what they are used for, their key architectural components, and a preview of the most prominent models. The reader is assumed to be familiar with basic ML terminology and simpler neural network architectures such as MLPs.

연구 동기 및 목표

• 트랜스포머가 무엇이며 핵심 설계 구성요소가 무엇인지 설명한다.
• 트랜스포머 알고리즘의 간결하고 형식적인 의사코드 서술을 제시한다(약 50줄).
• 트랜스포머의 토큰화, 학습, 추론 및 실무적 고려사항을 설명한다.
• 주요 트랜스포머 아키텍처들(인코더-전용, 디코더-전용, 인코더-디코더)을 비교하고 그 사용 사례를 설명한다.
• 처음부터 트랜스포머를 구현하고 그 특성에 대해 추론하는 데 필요한 레퍼런스 수준의 기초를 제공한다.]
• method:[

제안 방법

• 트랜스포머와 그 학습 및 추론 절차를 위한 형식적 표기 체계를 정의한다.
• 토큰 임베딩 및 위치 임베딩 알고리즘을 제시한다.
• 마스킹, 교차 어텐션, 헤드 집계(Algorithms 3–5)를 포함한 단일-헤드 및 다중-헤드 변형으로 주의 메커니즘을 상세히 설명한다.
• 레이어 정규화 변형과 unembedding 단계를 도입한다(Algorithms 6–7).
• 엔드-투-엔드 트랜스포머 아키텍처를 설명한다(encoder-decoder, BERT-스타일 인코더, GPT-스타일 디코더를 포함)(Algorithms 8–9).
• 트랜스포머 모델의 구현 및 이론 분석을 용이하게 하려는 간결하고 형식적인 서술을 제공한다.

실험 결과

연구 질문

• RQ1 트랜스포머 아키텍처, 학습 및 추론을 설명하는 데 필요한 최소한의 형식적 알고리즘 집합은 무엇인가?
• RQ2 토큰화, 주의, 및 정규화를 어떻게 형식화하여 처음부터 정확한 구현이 가능하도록 만들 수 있는가?
• RQ3 인코더-전용, 디코더-전용, 인코더-디코더 트랜스포머 변형은 마스킹 및 어텐션 체계에서 어떻게 다르가?
• RQ4 좁은 의사코드 수준의 명세가 이론적 및 실무적 사용을 위해 현대 트랜스포머의 핵심 연산을 포착할 수 있는가?]
• RQ5 key_findings:[

주요 결과

• 이 문서는 트랜스포머 구성요소와 워크플로를 사실상 50줄 미만의 의사코드로 거의 완전하게 제시한다.
• 토큰화, 임베딩, 위치 인코딩, 다양한 주의 메커니즘 및 언임베딩을 다루며 학습 및 프롬프트/추론에 대한 명시적 알고리즘을 포함한다.
• 주요 트랜스포머 아키텍처들(EDTransformer, BERT, GPT)을 조사하고 해당 알고리즘 및 섹션과 연결한다.
• 정형 알고리즘의 가치를 제시하여 DL 출판물의 정밀도, 재현성 및 표기 규칙을 개선해야 한다고 주장한다.
• 구현 및 분석을 위한 간결하고 정밀한 Transformer 명세가 필요한 이론가와 실무자들을 돕는 것을 목표로 한다.