[論文レビュー] Lightweight and Efficient Neural Natural Language Processing with Quaternion Networks

Yi Tay, Aston Zhang+6 more|arXiv (Cornell University)|Jun 11, 2019

Topic Modeling参考文献 40被引用数 17

ひとこと要約

本稿では、ハイパーコンプレックス数体系を活用することで、パラメータ数を最大75%削減しながら性能を損なわずに、軽量で効率的な自然言語処理のためのクaternionニューラルネットワークを提案する。注意機構やフィードフォワード層における標準的な実数値演算をハミルトン積に置き換えることで、表現力がありパラメータ効率の良いモデル、たとえばクォータニオン変換器やクォータニオン注意モデルを実現し、多様なNLPタスクにおいて最先端の効率性を達成する。

ABSTRACT

Many state-of-the-art neural models for NLP are heavily parameterized and thus memory inefficient. This paper proposes a series of lightweight and memory efficient neural architectures for a potpourri of natural language processing (NLP) tasks. To this end, our models exploit computation using Quaternion algebra and hypercomplex spaces, enabling not only expressive inter-component interactions but also significantly ($75\%$) reduced parameter size due to lesser degrees of freedom in the Hamilton product. We propose Quaternion variants of models, giving rise to new architectures such as the Quaternion attention Model and Quaternion Transformer. Extensive experiments on a battery of NLP tasks demonstrates the utility of proposed Quaternion-inspired models, enabling up to $75\%$ reduction in parameter size without significant loss in performance.

研究の動機と目的

• 最先端のNLPモデルがしばしば数百万〜数十億のパラメータを有するため、高コストなメモリ使用量と計算コストを軽減すること。
• クォータニオン空間におけるハイパーコンプレックス表現を、ニューラルNLPアーキテクチャの新しいインダクティブバイアスとして探求すること。
• クォータニオン代数を用いて、注意機構および変換器モデルのパラメータ効率の良い変種を設計し、顕著な圧縮を実現すること。
• 提案されたクォータニオンモデルを、テキスト分類、機械翻訳、構文的プロービングを含む広範なNLPタスクで評価すること。
• クォータニオンベースのモデルが、パラメータ数を著しく削減しながらも、性能を維持または向上させることを実証すること。

提案手法

• 本稿では、四元数（r + xi + yj + zk）としてのクォータニオン表現を導入し、ここで i² = j² = k² = ijk = -1 が成り立つ。
• コア演算としてハミルトン積（⊗）を採用し、実部と虚部の間の相互依存関係を符号化することで、自由度を削減し、モデルの圧縮を可能にする。
• クォータニオン注意機構は、標準的なドット積をハイパーコンプレックス空間におけるハミルトン積に置き換えることで、注意スコアを計算し、表現力を向上させる。
• クォータニオン変換器では、標準的な線形層をクォータニオンフィードフォワードネットワークに置き換えることで、モデル容量を維持しながら、最大75%のパラメータ削減を実現する。
• 本手法は、完全なクォータニオン適応と部分的クォータニオン適応の両方をサポートしており、効率性と性能の間で柔軟なトレードオフを可能にする。
• モデルは、標準的なハイパーパrameterを用いてTensor2Tensorフレームワークで訓練され、実数値成分および既存のアーキテクチャと互換性がある。

実験結果

リサーチクエスチョン

• RQ1 クォータニオン代数は、性能を損なわせることなく、ニューラルNLPモデルのパラメータ数を削減するために効果的に適用可能か？
• RQ2 ハイパーコンプレックス空間におけるハミルトン積は、注意機構およびフィードフォワード層において、標準的な実数値演算と比較して、どのようにモデルの表現力を向上させるか？
• RQ3 クォータニオンベースのモデルは、パフォーマンスの劣化を伴わずに、変換器および注意機構をどの程度圧縮できるか？
• RQ4 低リソース環境や構造的予測設定を含む多様なNLPタスクにおいて、クォータニオンモデルは実数値の同等モデルと比較してどのように性能を発揮するか？
• RQ5 クォータニオンの四成分構造は、NLPにおけるマルチセンスまたはマルチヘッド表現を自然にモデル化可能であり、学習をどのように改善するか？

主な発見

• 完全に圧縮された状態で、クォータニオン変換器は、主題動詞一致（SVA）タスクにおいて、標準的な変換器と同等またはより高い性能を達成し、パラメータ数を75%削減した。
• SVAタスクにおいて、部分的クォータニオン適応により、+0.7%の精度向上が達成されるとともに、パラメータ数を25%削減した。
• 8つのNLPタスクにまたがる13のデータセットにおいて、クォータニオンモデルは、顕著に少ないパラメータ数で、実数値ベースラインと同等またはそれ以上の性能を維持または上回った。
• 提案されたクォータニオン注意モデルおよびクォータニオン変換器は、評価されたすべてのタスクで一貫した効率性の向上を示し、最大75%のパラメータ削減を達成した。
• クォータニオン成分は自己完結的かつ実数値成分と相互運用可能であり、既存のモデルへのモジュラー統合を可能にする。
• 本手法の有効性は、ハミルトン積が成分間の潜在的相互作用を符号化できることに起因し、表現力を高めつつパラメータ数を削減している。