[논문 리뷰] Beyond Fully-Connected Layers with Quaternions: Parameterization of Hypercomplex Multiplications with $1/n$ Parameters

Aston Zhang, Yi Tay외 5명|arXiv (Cornell University)|2021. 02. 17.

Computational Physics and Python Applications참고 문헌 17인용 수 36

한 줄 요약

논문은 데이터로부터 하이퍼복소수 곱셈 규칙을 학습하는 매개변수화된 PHM 층을 소개하며, 표준 FC 층의 약 1/n 배의 매개변수로 임의의 n-차원 하이퍼복소수 공간을 가능하게 하고 LSTM과 트랜스포머에서 이를 입증한다.

ABSTRACT

Recent works have demonstrated reasonable success of representation learning in hypercomplex space. Specifically, "fully-connected layers with Quaternions" (4D hypercomplex numbers), which replace real-valued matrix multiplications in fully-connected layers with Hamilton products of Quaternions, both enjoy parameter savings with only 1/4 learnable parameters and achieve comparable performance in various applications. However, one key caveat is that hypercomplex space only exists at very few predefined dimensions (4D, 8D, and 16D). This restricts the flexibility of models that leverage hypercomplex multiplications. To this end, we propose parameterizing hypercomplex multiplications, allowing models to learn multiplication rules from data regardless of whether such rules are predefined. As a result, our method not only subsumes the Hamilton product, but also learns to operate on any arbitrary nD hypercomplex space, providing more architectural flexibility using arbitrarily $1/n$ learnable parameters compared with the fully-connected layer counterpart. Experiments of applications to the LSTM and Transformer models on natural language inference, machine translation, text style transfer, and subject verb agreement demonstrate architectural flexibility and effectiveness of the proposed approach.

연구 동기 및 목표

• 기존 하이퍼복소수 계층의 고정 차원 한계(4D/8D/16D)를 극복하기 위해 하이퍼복소수 곱셈을 매개변수화하려는 동기를 부여한다.
• 곱셈 규칙을 학습된 크로네커 곱의 합으로 표현하는 PHM 층을 제안하여 임의의 n-D 하이퍼복소수 공간을 가능하게 한다.
• PHM 층이 매개변수를 줄이면서 LSTM 및 트랜스포머 아키텍처의 성능을 유지하거나 향상시킴을 보여준다.
• 자연어 추론, 기계 번역, 텍스트 스타일 전이, 주어-동사 일치 작업을 통해 응용 가능성을 입증한다.

제안 방법

• PHM 층을 y = Hx + b를 계산하도록 정의하는데 H는 H = sum_{i=1}^n A_i ⊗ S_i의 크로네커 곱 합으로 구성된다.
• k와 d가 사용자가 정의한 n으로 나누어떨어지도록 하며, A_i ∈ R^{n×n}이고 S_i ∈ R^{k/n × d/n}이다.
• PHM 층의 매개변수 수가 완만한 가정하에 대략 (kd)/n 이며, 표준 FC 층의 약 1/n에 해당한다.
• PHM이 실수 행렬 곱셈(n=1)과 쿼터니온 공간의 해밀턴 곱(Hamilton products)을 포괄하며(n=4) 8차/16차 옥토노스(또는 세데니언)로 일반화될 수 있음을 보여준다.
• PHM이 A_i와 S_i를 적절히 설정하여 미리 정의된 하이퍼복소수 규칙(예: 해밀턴 곱)을 표현하고, 데이터로부터 새로운 곱셈 상호 작용을 학습할 수 있음을 설명한다.

실험 결과

연구 질문

• RQ1 학습 가능한 하이퍼복소수 곱셈 층이 고정된 4D/8D/16D 공간을 넘어 임의의 차원으로 일반화될 수 있는가?
• RQ2 PHM이 NLP 태스크 전반에서 매개변수 수를 크게 줄이면서도 성능을 유지하거나 향상시키는가?
• RQ3 자연어 추론 및 기계 번역과 같은 태스크에서 LSTM과 트랜스포머 아키텍처에서 PHM의 성능은 어떠한가?
• RQ4 다양한 n 값이 태스크 간 성능과 매개변수 효율성에 미치는 영향은 무엇인가?

주요 결과

• PHM-LSTM은 다양한 n에서 최대 88.7%의 매개변수 감소를 달성하고, 다섯 개의 NLI 데이터셋에서 일반적으로 표준 LSTM과 비슷하거나 향상된 성능을 보인다.
• PHM-트랜스포머는 일곱 MT 데이터셋에서 BLEU 점수 경쟁력을 갖추며 매개변수 감소(최대 93.4%)를 달성한다; 많은 경우 n=4 또는 n=2가 쿼터니온/표준 트랜스포머 대비 이득을 제공한다.
• PHM 층은 구조적 유연성을 제공하여 텍스트 스타일 전이 및 주어-동사 일치와 같은 여러 태스크에서 베이스라인 대비 성능 향상을 제공한다.
• n 증가로 매개변수 절감이 더 커지지만 매우 큰 n에서 일부 데이터셋(예: En-Id)에서 미세한 성능 저하가 생길 수 있다.
• PHM은 해밀턴 곱과 유사한 동작(n=4)을 학습할 수 있으며, 데이터 기반 학습으로 종종 고정된 하이퍼복소수 규칙보다 우수하다.
• MT에서 PHM으로 은닉 차원 재조정(두 배 확대)이 여러 데이터셋의 성능 향상을 가져올 수 있다.