[논문 리뷰] Linear algebra with transformers

François Charton|arXiv (Cornell University)|2021. 12. 03.

Neural Networks and Applications인용 수 11

한 줄 요약

이 논문은 소형 트랜스포머가 수치 예제로부터 직접 복잡한 선형 대수 연산—예를 들어 행렬 곱셈, 고유값 분해, 역행렬 계산—을 학습할 수 있음을 보여주며, 실수를 표현하는 네 가지 다른 인코딩 체계를 사용해 90% 이상의 정확도를 달성한다. 모델들은 분포 외 매트릭스에 대해 강건하게 일반화되며, 특히 라플라스 분포를 가진 고유값으로 훈련된 경우에 더욱 두드러진다. 이는 트랜스포머가 이전에 기본 산술 연산에 어려움을 겪었음에도 불구하고 비트리비알 수치 계산을 처리할 수 있음을 시사한다.

ABSTRACT

Transformers can learn to perform numerical computations from examples only. I study nine problems of linear algebra, from basic matrix operations to eigenvalue decomposition and inversion, and introduce and discuss four encoding schemes to represent real numbers. On all problems, transformers trained on sets of random matrices achieve high accuracies (over 90%). The models are robust to noise, and can generalize out of their training distribution. In particular, models trained to predict Laplace-distributed eigenvalues generalize to different classes of matrices: Wigner matrices or matrices with positive eigenvalues. The reverse is not true.

연구 동기 및 목표

• 트랜스포머가 기본 산술 연산에 어려움을 겪음에도 불구하고 순수 예제 기반 훈련을 통해 수치 선형 대수 연산을 학습할 수 있는지 조사하기.
• 시퀀스 모델에서 실수를 표현하는 데에 효과적인 다양한 인코딩 체계의 효능 평가하기.
• 훈련된 모델의 일반화 능력 평가—특히 고유값 관련 작업에 대해 훈련 분포 외로의 일반화 능력 평가하기.
• 무작위 행렬 이론 원리가 신경망에서 분포 외 일반화를 가능하게 하는 데서의 역할 탐색하기.
• 트랜스포머가 기존 수치 라이브러리에 대체되지 않더라도, 과학을 위한 인공지능의 계산 빌딩 블록으로 활용될 수 있음을 보여주기.

제안 방법

• 트랜스포머는 과학적 표기법을 사용해 세 자리 유의 숫자로 인코딩된 행렬을 나타내는 토큰 시퀀스에 대해 엔드 투 엔드로 훈련된다.
• 네 가지 인코딩 체계—P10, P1000, B1999, FP15—가 제안되고 실수를 입력 및 출력 시퀀스에 표현하는 데 평가된다.
• 각 선형 대수 문제(예: 행렬 전치, 역행렬, 특이값 분해)는 표준 트랜스포머 아키텍처를 사용해 시퀀스에서 시퀀스로의 작업으로 프레임워크된다.
• 모델들은 수많은 무작위로 생성된 행렬의 데이터셋에서 훈련되며, 정답 출력은 NumPy의 linalg 모듈을 사용해 계산된다.
• 효율성과 성능 간의 상충 관계를 연구하기 위해 단일 레이어 인코더 또는 디코더를 포함한 비대칭 아키텍처가 포함된다.
• 일반화 능력 평가를 위해 다양한 통계적 성질(예: 위그너 매트릭스, 양의 정부호 매트릭스)을 가진 매트릭스로 테스트를 수행하며, 특히 고유값 분포에 중점을 둔다.

실험 결과

연구 질문

• RQ1 트랜스포머는 순수 수치 예제로부터 고유값 분해나 행렬 역행렬과 같은 복잡한 선형 대수 연산을 학습할 수 있는가?
• RQ2 다양한 실수 인코딩 체계가 수치 계산 작업에서 모델 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ3 라플라스 분포를 가진 고유값으로 훈련된 모델이 다른 매트릭스 유형(예: 위그너 매트릭스)으로 일반화할 수 있는 정도는 어느 정도인가?
• RQ4 무작위 행렬 이론 원리를 적용하면 트랜스포머 기반 수치 계산에서 일반화 능력이 향상되는가?
• RQ5 작고 효율적인 트랜스포머가 기호적 조작에 의존하지 않고도 수치 선형 대수 작업에서 높은 정확도를 달성할 수 있는가?

주요 결과

• 무작위 매트릭스에서 훈련된 트랜스포머는 모두 9개의 선형 대수 작업에서 90% 이상의 정확도를 달성하며, 대부분 99% 이상의 정확도를 기록한다.
• 라플라스 분포를 가진 고유값으로 훈련된 모델은 위그너 매트릭스와 양의 정부호 매트릭스로 효과적으로 일반화되지만, 반대의 경우는 그렇지 않다.
• 모델들은 입력 노이즈에 강건하여 매트릭스 계수에 상당한 변형이 가해져도 높은 정확도를 유지한다.
• 인코딩 체계의 선택은 성능에 큰 영향을 미치며, 복잡한 작업에서는 P10과 P1000보다 FP15와 B1999가 더 우수한 성능을 보인다.
• 비대칭 아키텍처—예를 들어 6층 인코더와 1층 디코더 조합—는 더 적은 파라미터로도 높은 성능을 달성하여 수치 패턴을 효율적으로 학습함을 시사한다.
• 실증적 검증을 통해 위그너 매트릭스의 고유값 표준편차는 매트릭스 차원과 계수 분산에만 의존하며, 이는 이론적 예측을 뒷받침하고 일반화를 가능하게 한다.