[論文レビュー] Learnable Fourier Features for Multi-Dimensional Spatial Positional Encoding

Yang Li, Si Si+3 more|arXiv (Cornell University)|Jun 5, 2021

Advanced Image and Video Retrieval Techniques参考文献 44被引用数 30

ひとこと要約

多次元の空間データに対する学習可能なフーリエ特徴量ベースの位置エンコーディングを導入し、MLPと統合することで、画像やUI風構造に跨るTransformerベースのモデルに対して帰納的でスケーラブル、距離を保つ位置表現を実現します。複数の視覚タスクおよびUIタスクで収束性と精度の向上を実証します。

ABSTRACT

Attentional mechanisms are order-invariant. Positional encoding is a crucial component to allow attention-based deep model architectures such as Transformer to address sequences or images where the position of information matters. In this paper, we propose a novel positional encoding method based on learnable Fourier features. Instead of hard-coding each position as a token or a vector, we represent each position, which can be multi-dimensional, as a trainable encoding based on learnable Fourier feature mapping, modulated with a multi-layer perceptron. The representation is particularly advantageous for a spatial multi-dimensional position, e.g., pixel positions on an image, where $L_2$ distances or more complex positional relationships need to be captured. Our experiments based on several public benchmark tasks show that our learnable Fourier feature representation for multi-dimensional positional encoding outperforms existing methods by both improving the accuracy and allowing faster convergence.

研究の動機と目的

• Transformerベースのモデルのために、画像やUIレイアウトなどの多次元空間ドメインで効果的かつスケーラブルな位置エンコーディングの必要性を説明する。
• ユークリッド類似の距離と複雑な空間関係を捉える学習可能なフーリエ特徴ベースの位置エンコーディングを提案する。
• 提案するエンコーディングが帰納的でパラメータ効率が高く、見えない位置や高次元にもスケールすることを示す。
• 画像生成、物体検出、画像分類、UIウィジェットキャプショニングの各タスクを通じて、確立済みのPE手法より精度と収束性が改善されることを示す。

提案手法

• 多次元位置 x を R^M の学習可能なフーリエ特徴 r_x で表現し、r_x = (1/sqrt{D}) [ cos(x W_r^T) || sin(x W_r^T) ]、ここで W_r は学習可能で gamma^{-2} から N(0, gamma^{-2}) で初期化される。
• 位置間のガウスカーネルを近似する shifting-invariant なドット積 r_x · r_y を計算し、k(x,y) ≈ exp(-||x-y||^2 / gamma^2) を近似する。
• フーリエ特徴を多層パーセプトロン (phi) と線形射影に通して最終的な位置エンベディング PE_x = phi(r_x, theta) W_p を生成する。
• 座標をグループ化して各グループに同じエンコーディングパイプラインを適用し、結果を連結して多次元位置を holistic に処理する。
• このアプローチは帰納的（ unseen positions を扱える ）で、シーケンス長には拡張しないためパラメータ効率が高い。
• エンコーディングを Transformer ベースのモデルと統合し、生成された PE_X を downstream の注意機構の内容埋め込みに加える。

実験結果

リサーチクエスチョン

• RQ1 学習可能なフーリエ特徴ベースの位置エンコーディングは、固定の正弦波埋め込みや離散的埋め込みよりも、2D ユークリッド距離のような意味のある多次元空間関係を捉えられるか。
• RQ2 提案されたエンコーディングは、空間データを含む Transformer ベースのタスク（画像、物体検出、UIレイアウト）で収束速度と精度を改善し、 unseen positions/sizes に一般化するか。
• RQ3 Learnable-Fourier Features + MLP の組み合わせは、 Fourier features あるいは MLP 単独よりも diverse なタスクで効果的か。
• RQ4 高次元空間設定（UI ウィジェットの境界ボックスなど）で、マルチグループ分割エンコーディング戦略は性能にどのように影響するか。

主な発見

• Learnable-Fourier + MLP エンコーディングは、画像生成、物体検出、画像分類、ウィジェットキャプショニングのベースライン位置エンコーディングを一貫して上回った。
• 学習可能なフーリエ特徴とMLPの組み合わせは、いずれかの要素を単独で用いるよりも収束が速く精度が高い。
• 未知の画像サイズと位置に対して、Learnable-Fourier + MLP は離散埋め込みや正弦波アプローチよりも一般化性能が高く、分布外の位置での性能ギャップを縮小する。
• 多次元位置をグループに分割し、各グループを共有フーリエ特徴でエンコードすることは、単純なL2距離よりも複雑な空間関係をモデル化でき、UIウィジェットキャプショニングのようなタスクに有益である。
• Vision Transformer における画像分類では、Learnable-Fourier + MLP が Embed-1D より高い top-1 精度を達成し、標準ベンチマークで実用的な利益を示した。