[論文レビュー] KERPLE: Kernelized Relative Positional Embedding for Length Extrapolation

Ta-Chung Chi, Ting-Han Fan+2 more|arXiv (Cornell University)|May 20, 2022

Topic Modeling被引用数 9

ひとこと要約

KERPLEは、条件付き正定値（CPD）カーネルを用い、ソフトマックス正規化中に吸収される定数オフセットを介してCPDカーネルを正定値（PD）カーネルに変換することで、Transformerにおける長さの外挿を可能にするカーネル化された相対的位置埋め込みフレームワークを導入する。この手法は、OpenWebText2、GitHub、ArXivといった大規模言語モデルデータセットにおいて、特に対数カーネルバージョンで最先端の外挿性能を達成する。

ABSTRACT

Relative positional embeddings (RPE) have received considerable attention since RPEs effectively model the relative distance among tokens and enable length extrapolation. We propose KERPLE, a framework that generalizes relative position embedding for extrapolation by kernelizing positional differences. We achieve this goal using conditionally positive definite (CPD) kernels, a class of functions known for generalizing distance metrics. To maintain the inner product interpretation of self-attention, we show that a CPD kernel can be transformed into a PD kernel by adding a constant offset. This offset is implicitly absorbed in the Softmax normalization during self-attention. The diversity of CPD kernels allows us to derive various RPEs that enable length extrapolation in a principled way. Experiments demonstrate that the logarithmic variant achieves excellent extrapolation performance on three large language modeling datasets. Our implementation and pretrained checkpoints are released at https://github.com/chijames/KERPLE.git.

研究の動機と目的

• Transformerモデルにおける長さの外挿の課題に取り組むこと、すなわち、モデルが訓練長さLを超えるシーケンス長に一般化できるようにすること。
• 既存の相対的位置埋め込み（RPE）が訓練長を超えて一般化しにくいため、その制限を克服すること。
• 条件付き正定値（CPD）カーネルの数学的性質を活用して、外挿をサポートするRPEの設計のための原則的フレームワークを構築すること。
• 学習可能なCPDカーネルが、データセット固有の長距離依存関係に適応できることを示し、固定パラメータ法（例：ALiBi）を上回ること。
• 既存の手法（例：ALiBi）を統合し、強い外挿能力を持つRPEの体系的探索を可能にする包括的フレームワークを提供すること。

提案手法

• フレームワークは、距離メトリクスを一般化し、外挿を可能にする条件付き正定値（CPD）カーネルを用いて相対的位置差をカーネル化する。
• CPDカーネルは、自己注意のソフトマックス正規化中に暗黙的に吸収される定数オフセットを加えることで、正定値（PD）カーネルに変換される。
• アテンションヘッド全体にわたるカーネル関数の学習可能なパrameterizationを用い、データセット固有の長距離依存関係への適応を可能にする。
• フレームワークは因果的言語モデル化に適用され、アテンションスコアはクエリ・キー内積とカーネル化された相対的位置バイアスの和として計算される。
• 推論時に長いシーケンスで遠くのトークンに注目を維持できるように、カーネル関数はゆっくりと減衰するように設計される（例：対数関数）。
• 実験では、公平な比較のためGPT-NeoXコードベースを用い、短いシーケンス（長さ3）で学習し、長いシーケンス（最大16384トークン）で評価する。

実験結果

リサーチクエスチョン

• RQ1 条件付き正定値（CPD）カーネルを用いて、Transformerにおける長さの外挿を可能にする相対的位置埋め込みを設計できるか？
• RQ2 カーネル関数の選択（例：対数関数対比べき乗則）が、推論時の長距離依存関係への注目能力にどのように影響するか？
• RQ3 カーネル関数内の学習可能なパrameterが、固定パラメータ法（例：ALiBi）よりもデータセット固有の長距離依存関係に適応できるか？
• RQ4 カーネル化されたRPEフレームワークが、ALiBiなどの既存手法をどの程度一般化できるか？
• RQ5 カーネルの減衰率によって定義される注目効果的長さと、長文脈タスクにおけるモデル性能の相関関係はどの程度か？

主な発見

• KERPLEの対数関数バージョンは、OpenWebText2、GitHub、ArXivの3つの大規模言語モデルデータセットにおいて、最良の長さ外挿性能を達成する。
• KERPLE-logは、シーケンス長16384においても低いパープレクサリティを維持し、窓アテンション（window@512）とALiBiに比べて高いパープレクサリティを示す。
• KERPLE-logで学習されたモデルは、遠くのトークンに対する注目が緩やかに減衰しており、より強い長距離依存関係モデリングを示している。
• カーネルバイアスが-2未満に下がる距離（注目効果的長さ）として定義される場合、対数カーネルはべき乗則バージョンよりも顕著に長い。
• 有効長が|m−n|以下のヘッドの累積カウントを評価した結果、KERPLE-logは他の手法よりも広い距離範囲で遠くのトークンに注目を維持している。
• この手法はALiBiを特別なケースとして一般化しており、ALiBiは固定パラメータの線形CPDカーネルに対応するが、KERPLEは学習可能な、データセットに適応するパラメータを許容する。