[논문 리뷰] Lightweight and Efficient Neural Natural Language Processing with Quaternion Networks

Yi Tay, Aston Zhang외 6명|arXiv (Cornell University)|2019. 06. 11.

Topic Modeling참고 문헌 40인용 수 17

한 줄 요약

이 논문은 초월수 수체계를 활용하여 성능을 훼손하지 않고 최대 75%까지 모델 파라미터를 감소시키는 경량이고 효율적인 자연어 처리를 위한 허수 신경망을 제안한다. 주어진 주의 메커니즘과 피드포워드 레이어에서 표준 실수 연산을 허밀턴 곱으로 대체함으로써, 허수 트랜스포머와 허수 주의 모델과 같은 표현력 있고 파라미터 효율적인 모델을 구현할 수 있으며, 다양한 NLP 작업에서 최신 기술 수준의 효율성을 달성한다.

ABSTRACT

Many state-of-the-art neural models for NLP are heavily parameterized and thus memory inefficient. This paper proposes a series of lightweight and memory efficient neural architectures for a potpourri of natural language processing (NLP) tasks. To this end, our models exploit computation using Quaternion algebra and hypercomplex spaces, enabling not only expressive inter-component interactions but also significantly ($75\%$) reduced parameter size due to lesser degrees of freedom in the Hamilton product. We propose Quaternion variants of models, giving rise to new architectures such as the Quaternion attention Model and Quaternion Transformer. Extensive experiments on a battery of NLP tasks demonstrates the utility of proposed Quaternion-inspired models, enabling up to $75\%$ reduction in parameter size without significant loss in performance.

연구 동기 및 목표

• 최신 기술 수준의 NLP 모델이 수백만 또는 수십억 개의 파라미터를 포함하여 높은 메모리 및 계산 비용을 유발하는 문제를 해결하기 위해.
• 신경망 NLP 아키텍처에 대한 새로운 인덕티브 바이어스로 초월수 공간 내의 초월수 표현을 탐색하기 위해.
• 허수 대수를 활용하여 주의 및 트랜스포머 모델의 파라미터 효율적인 변형을 설계하여 상당한 압축을 가능하게 하기 위해.
• 텍스트 분류, 기계 번역, 문법 조사 등 다양한 NLP 작업에서 제안된 허수 모델의 성능을 평가하기 위해.
• 허수 기반 모델이 파라미터 수를 크게 줄이면서도 성능을 유지하거나 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 논문은 네 성분의 초월수(r + xi + yj + zk)를 사용한 허수 표현을 도입하며, 여기서 i² = j² = k² = ijk = -1이다.
• 핵심 연산으로 허밀턴 곱(⊗)을 사용하여 실수 및 허수 성분 간의 상호의존성을 인코딩함으로써 자유도를 감소시키고 모델 압축을 가능하게 한다.
• 허수 주의 메커니즘은 표준 내적 곱을 허수 공간에서의 허밀턴 곱으로 대체하여 초월수 공간에서 주의 점수를 계산함으로써 표현력을 향상시킨다.
• 허수 트랜스포머는 표준 선형 레이어를 허수 피드포워드 네트워크로 대체하여 모델 용량을 유지하면서도 파라미터 수를 최대 75%까지 감소시킨다.
• 모델은 전체 및 부분 허수 적응을 모두 지원하여 효율성과 성능 사이의 탄력적인 트레이드오프를 가능하게 한다.
• 모델은 표준 초모수를 사용하여 Tensor2Tensor 프레임워크로 훈련되며, 실수 성분과 기존 아키텍처와의 호환성도 확보한다.

실험 결과

연구 질문

• RQ1 허수 대수는 신경망 NLP 모델에 효과적으로 적용되어 성능을 유지하면서 파라미터 수를 감소시킬 수 있는가?
• RQ2 허수 공간 내 허밀턴 곱은 주의 및 피드포워드 레이어에서 표준 실수 연산에 비해 모델의 표현력을 어떻게 향상시키는가?
• RQ3 허수 기반 모델은 성능 저하 없이 트랜스포머 및 주의 메커니즘을 얼마나 압축할 수 있는가?
• RQ4 저자원 및 구조적 예측 설정을 포함한 다양한 NLP 작업에서 허수 모델은 실수 기반 대조군과 비교해 어떻게 성능을 내는가?
• RQ5 허수의 네 성분 구조는 NLP에서 다의미 또는 다헤드 표현을 자연스럽게 모델링할 수 있으며, 만약 그렇다면 학습에 어떻게 기여하는가?

주요 결과

• 전체 압축 시 허수 트랜스포머는 표준 트랜스포머와 유사하거나 더 높은 성능을 보였으며, 주어진 주절-동사 일치(SVA) 작업에서 파라미터 수를 75% 감소시켰다.
• SVA 작업에서 부분 허수 적응은 정확도를 +0.7% 향상시키면서도 파라미터 수를 25% 감소시켰다.
• 8개의 NLP 작업을 포함하는 13개 데이터셋 전반에서 허수 모델은 실수 기반 기준선과 유사하거나 뛰어난 성능을 유지하면서도 상당히 감소된 파라미터 수를 기록했다.
• 제안된 허수 주의 모델과 허수 트랜스포머는 모든 평가된 작업에서 일관된 효율성 향상을 보였으며, 최대 75%의 파라미터 감소를 달성했다.
• 허수 성분은 상호 간에 독립적이며 실수 성분과도 상호 운용 가능하므로, 기존 모델에 모듈식으로 통합할 수 있다.
• 이 방법의 효과성은 허밀턴 곱이 성분 간 잠재적 상호작용을 인코딩할 수 있어 표현력을 높이고 파라미터 수를 줄일 수 있기 때문으로 기인된다.