[論文レビュー] Rethinking Positional Encoding

Jianqiao Zheng, Sameera Ramasinghe+1 more|arXiv (Cornell University)|Jul 6, 2021

Multimodal Machine Learning Applications参考文献 38被引用数 30

ひとこと要約

この論文は Fourier 特徴を超えて位置エンコーディングを一般化し、シフトされた連続基底関数を用いることで、埋め込みの安定順位と距離保持に基づく性能を関連付け、Gaussian embedders によって検証する。

ABSTRACT

It is well noted that coordinate based MLPs benefit -- in terms of preserving high-frequency information -- through the encoding of coordinate positions as an array of Fourier features. Hitherto, the rationale for the effectiveness of these positional encodings has been solely studied through a Fourier lens. In this paper, we strive to broaden this understanding by showing that alternative non-Fourier embedding functions can indeed be used for positional encoding. Moreover, we show that their performance is entirely determined by a trade-off between the stable rank of the embedded matrix and the distance preservation between embedded coordinates. We further establish that the now ubiquitous Fourier feature mapping of position is a special case that fulfills these conditions. Consequently, we present a more general theory to analyze positional encoding in terms of shifted basis functions. To this end, we develop the necessary theoretical formulae and empirically verify that our theoretical claims hold in practice. Codes available at https://github.com/osiriszjq/Rethinking-positional-encoding.

研究の動機と目的

• Fourier マッピングを超えた位置エンコーディングの理解を拡張する。
• シフトされた連続基底関数に基づく埋め込みスキームを提案し、分析する。
• 埋め込み座標の安定順位と距離保持を通じて性能を特徴づける。
• 実用的な Gaussian embedder を Fourier features の効果的な代替として示す。

提案手法

• 位置エンコーディングを、シフトされた基底関数の体系的なサンプリングとしてモデル化する。
• 埋め込み関数を定義し、それらの rank と距離保持性質を分析する。
• 経験的評価におけるランクの実務的代理指標として安定ランクを用いる。
• Gaussian embedder を、 memorization と generalization の制御可能なトレードオフとして示す。
• Gaussian embedder を Random Fourier Features に関連づけ、特定の条件下で同等性を導出する。
• 1D および 2D 信号を用いて埋め込み器を比較する実験を行う。

実験結果

リサーチクエスチョン

• RQ1 座標-MLP において Fourier 以外の埋め込み関数を効果的に位置エンコーディングとして用いることは可能か？
• RQ2 埋め込みの安定ランクと距離保持は位置エンコーディングの性能をどう支配するか？
• RQ3 Gaussian ベースの埋め込み器は Fourier feature mappings および RFF に対して現実的にどの程度の性能を示すか？
• RQ4 高次元の埋め込みを効率的に管理するにはどうすればよいか（例えば separable embedders を用いる等）、性能を保ちながら？
• RQ5 埋め込み帯域幅、安定ランク、距離保持の理論的関係は経験的にも成り立つか？

主な発見

• 位置エンコーディングの性能は、近似ランク（安定ランク）と距離保持のトレードオフによって支配される。
• 任意の連続関数が位置エンベッダーとして機能し得る。
• Gaussian embedding は、安定ランクを制御し、堅牢な距離保持を実現しつつ競争力のある性能を提供する。
• Gaussian embedders は、低い埋め込み次元において Random Fourier Features よりも安定している。
• 埋め込み器の separability は、性能を維持しつつ高次元信号へ効率的にスケールさせることを可能にする。