[論文レビュー] Beyond Fully-Connected Layers with Quaternions: Parameterization of Hypercomplex Multiplications with $1/n$ Parameters

Aston Zhang, Yi Tay+5 more|arXiv (Cornell University)|Feb 17, 2021

Computational Physics and Python Applications参考文献 17被引用数 36

ひとこと要約

この論文はデータからハイパーコンプレックス乗算の規則を学習するパラメータ化ハイパーコンプレックス乗算（PHM）層を導入し、標準の全結合層の約1/n のパラメータで任意のn次元ハイパーコンプレックス空間を実現できることを示し、LSTMとTransformerでの適用を実証します。

ABSTRACT

Recent works have demonstrated reasonable success of representation learning in hypercomplex space. Specifically, "fully-connected layers with Quaternions" (4D hypercomplex numbers), which replace real-valued matrix multiplications in fully-connected layers with Hamilton products of Quaternions, both enjoy parameter savings with only 1/4 learnable parameters and achieve comparable performance in various applications. However, one key caveat is that hypercomplex space only exists at very few predefined dimensions (4D, 8D, and 16D). This restricts the flexibility of models that leverage hypercomplex multiplications. To this end, we propose parameterizing hypercomplex multiplications, allowing models to learn multiplication rules from data regardless of whether such rules are predefined. As a result, our method not only subsumes the Hamilton product, but also learns to operate on any arbitrary nD hypercomplex space, providing more architectural flexibility using arbitrarily $1/n$ learnable parameters compared with the fully-connected layer counterpart. Experiments of applications to the LSTM and Transformer models on natural language inference, machine translation, text style transfer, and subject verb agreement demonstrate architectural flexibility and effectiveness of the proposed approach.

研究の動機と目的

• 従来のハイパーコンプレックス層の固定次元制限 (4D/8D/16D) を克服するためにハイパーコンプレックス乗算をパラメータ化する動機づけ。
• PHM 層は乗算規則を学習された Kronecker 積の和として表現し、任意の n-D ハイパーコンプレックス空間を実現する。
• PHM 層は LSTM および Transformer アーキテクチャでパラメータ数を削減しつつ性能を維持または向上させることを示す。
• 自然言語推論、機械翻訳、テキストスタイル転送、主語-動詞一致タスクを通じて適用性を示す。

提案手法

• PHM 層を定義し y = Hx + b を計算する。H は H = sum_{i=1}^n A_i ⊗ S_i の和として構成される。
• k と d がユーザー定義の n で割り切れることを保証し、A_i ∈ R^{n×n}、S_i ∈ R^{k/n × d/n}。
• PHM 層のパラメータ数は、穏やかな前提の下でほぼ (kd)/n となり、標準の FC 層の約 1/n に相当する。
• PHM が実数値行列乗算（n=1）と四元数空間のハミルトン積（n=4）を包含し、八元数/十六元数（n=8,16）へ一般化できることを示す。
• PHM はあらかじめ定義されたハイパーコンプレックス規則（例：ハミルトン積）を A_i と S_i を適切に設定することで表現でき、データ駆動で新しい乗算相互作用を学習できる。

実験結果

リサーチクエスチョン

• RQ1 学習可能なハイパーコンプレックス乗算層は、固定の 4D/8D/16D 空間を超えて任意の次元へ一般化できるか？
• RQ2 PHM は NLP タスク全体でパラメータ数を大幅に削減しつつ性能を維持または向上させるか？
• RQ3 自然言語推論や機械翻訳などのタスクで LSTM と Transformer アーキテクチャにおける PHM の性能は？
• RQ4 さまざまな n 値がタスク間の性能とパラメータ効率に与える影響は？

主な発見

• PHM-LSTM は n の変動によりパラメータを最大 88.7% 削減し、5つの NLI データセットで一般に標準 LSTM に対して同等または性能を上回る。
• PHM-Transformer は大幅なパラメータ削減（最大 93.4%）と競合する BLEU スコアを 7 つの MT データセットで達成；多くの場合 n=4 または n=2 が四元数/標準 Transformer より利益を生む。
• PHM 層はアーキテクチャの柔軟性を提供し、テキストスタイル転換や主語-動詞一致などのタスクでベースラインより性能を向上させる。
• n を増やすとより多くのパラメータ節約が得られるが、非常に大きな n の場合にはいくつかのデータセット（例：En-Id）でわずかな劣化を招く可能性。
• PHM はハミルトン積様の挙動を学習でき（n=4）、データ駆動学習により固定ハイパーコンプレックス規則を上回ることが多い。
• MT では隠れサイズを再スケーリング（倍増）することで PHM がいくつかのデータセットで性能を向上させる。