[논문 리뷰] Rethinking Positional Encoding

Jianqiao Zheng, Sameera Ramasinghe외 1명|arXiv (Cornell University)|2021. 07. 06.

Multimodal Machine Learning Applications참고 문헌 38인용 수 30

한 줄 요약

이 논문은 Fourier features를 넘어 shifted continuous basis functions를 사용하여 위치 인코딩을 일반화하고, 임베딩의 안정 랭크와 거리 보존에 따른 성능을 연결하며, Gaussian embedders로 검증한다.

ABSTRACT

It is well noted that coordinate based MLPs benefit -- in terms of preserving high-frequency information -- through the encoding of coordinate positions as an array of Fourier features. Hitherto, the rationale for the effectiveness of these positional encodings has been solely studied through a Fourier lens. In this paper, we strive to broaden this understanding by showing that alternative non-Fourier embedding functions can indeed be used for positional encoding. Moreover, we show that their performance is entirely determined by a trade-off between the stable rank of the embedded matrix and the distance preservation between embedded coordinates. We further establish that the now ubiquitous Fourier feature mapping of position is a special case that fulfills these conditions. Consequently, we present a more general theory to analyze positional encoding in terms of shifted basis functions. To this end, we develop the necessary theoretical formulae and empirically verify that our theoretical claims hold in practice. Codes available at https://github.com/osiriszjq/Rethinking-positional-encoding.

연구 동기 및 목표

• Fourier 매핑을 넘어 위치 인코딩에 대한 이해를 확장한다.
• shifted continuous basis functions를 기반으로 한 임베딩 스킴을 제안하고 분석한다.
• 임베딩 좌표의 안정 랭크 및 거리 보존을 통해 성능을 특징화한다.
• Gaussian embedder를 실용적인 대안으로 제시하여 Fourier features의 효과에 대하여 검증한다.

제안 방법

• shifted basis functions의 체계적인 샘플링으로 위치 인코딩을 모델링한다.
• embedder 함수들을 정의하고 그 랭크 및 거리 보존 속성을 분석한다.
• 실험적 평가에서 랭크의 실용적 대체 수단으로 안정 랭크를 사용한다.
• Gaussian embedder를 memorization과 일반화 간의 제어 가능한 트레이드오프를 제공하는 방법으로 제시한다.
• Gaussian embedder를 Random Fourier Features와 연관시키고 특정 조건에서 등가성을 도출한다.
• 1D 및 2D 신호로 임베더를 비교하는 실험을 수행한다.

실험 결과

연구 질문

• RQ1 비- Fourrier 임베딩 함수가 좌표-MLP에서 위치 인코딩에 효과적으로 사용될 수 있는가?
• RQ2 임베딩의 안정 랭크 및 거리 보존이 위치 인코딩의 성능을 어떻게 결정하는가?
• RQ3 Gaussian 기반 임베더의 실용적 성능은 Fourier feature 매핑 및 RFF에 비해 어떤가?
• RQ4 고차원 임베딩을 효율적으로 관리하는 방법(예: separable embedders)으로도 성능을 보존할 수 있는가?
• RQ5 임베더 대역폭, 안정 랭크 및 거리 보존 간의 이론적 관계가 경험적으로도 성립하는가?

주요 결과

• 위치 인코딩 성능은 근사 랭크(안정 랭크)와 거리 보존의 트레이드오프에 의해 결정된다.
• 랭크-거리 트레이드오프 프레임워크하에서 연속 함수는 임베더로 사용할 수 있다.
• Gaussian embedders는 안정 랭크를 제어하고 거리 보존을 견고하게 유지하면서 경쟁력 있는 성능을 제공한다.
• Gaussian embedders는 Random Fourier Features에 비해 낮은 임베딩 차원에서 더 안정적이다.
• 임베더의 분리 가능성은 성능을 유지하면서 더 높은 차원의 신호로의 확장을 가능하게 한다.