[논문 리뷰] Encoding word order in complex embeddings

Benyou Wang, Donghao Zhao외 4명|arXiv (Cornell University)|2019. 12. 27.

Topic Modeling참고 문헌 39인용 수 56

한 줄 요약

이 논문은 글로벌 단어 위치와 순서 관계를 모두 모델링하는 연속 복소수 값 임베딩을 도입하고, CNN/RNN/Transformer를 복소수 형태로 확장하며, 텍스트 분류, 기계 번역, 언어 모델링에서 개선을 보여준다.

ABSTRACT

Sequential word order is important when processing text. Currently, neural networks (NNs) address this by modeling word position using position embeddings. The problem is that position embeddings capture the position of individual words, but not the ordered relationship (e.g., adjacency or precedence) between individual word positions. We present a novel and principled solution for modeling both the global absolute positions of words and their order relationships. Our solution generalizes word embeddings, previously defined as independent vectors, to continuous word functions over a variable (position). The benefit of continuous functions over variable positions is that word representations shift smoothly with increasing positions. Hence, word representations in different positions can correlate with each other in a continuous function. The general solution of these functions is extended to complex-valued domain due to richer representations. We extend CNN, RNN and Transformer NNs to complex-valued versions to incorporate our complex embedding (we make all code available). Experiments on text classification, machine translation and language modeling show gains over both classical word embeddings and position-enriched word embeddings. To our knowledge, this is the first work in NLP to link imaginary numbers in complex-valued representations to concrete meanings (i.e., word order).

연구 동기 및 목표

• 텍스트에서 글로벌 절대 위치와 내부 순차 관계를 모두 모델링해야 할 필요성을 제시한다.
• 단어 표현을 위치에 대한 연속 함수로 취급하는 새로운 임베딩을 제안한다.
• 복소수 도메인으로 임베딩을 확장하여 더 풍부한 위치 의존 구조를 포착한다.
• CNN, RNN, Transformer에 복소수 순서 임베딩을 통합하고 다양한 과제에서 평가한다.

제안 방법

• 각 단어 임베딩을 벡터에서 위치 인덱스에 대한 함수로 확장하여 위치 의존 표현을 가능하게 한다.
• 복소수 임베딩 f(j,pos) = g_we(j) ⊙ g_pe(j,pos)로 정의하는데, 여기서 g_pe는 위치를 인코딩하기 위해 복소 지수함수를 사용한다.
• 위치 비의존 오프셋 변환과 유계성 같은 성질을 가정하고; |z1| ≤ 1인 경우의 유일한 유계해 g(pos) = z2 z1^pos를 선형으로 검정한다.
• 단어 당 복소 임베딩을 f(j,pos) = r_j,d e^{i(ω_j,d pos + θ_j,d)} (D 차원 전반)으로 매개화한다 (진폭, 주파수, 위상).
• Vaswani 등의 위치 인코딩이 이 접근 방식의 저하된 특수 케이스임을 보인다.

실험 결과

연구 질문

• RQ1 위치에 대한 연속적이고 복소수 값인 임베딩이 절대 위치와 상대 순서를 모두 포착할 수 있는가?
• RQ2 다양한 신경망 아키텍처(CNN, RNN, Transformer)에서 복소수 순서 임베딩이 기본 임베딩 및 전통적인 위치 보강 임베딩에 비해 성능을 향상시키는가?
• RQ3 제안된 임베딩이 텍스트 분류, 기계 번역, 언어 모델링에 효과적인가?

주요 결과

• 복소수 순서 임베딩은 텍스트 분류, 기계 번역, 언어 모델링 전반에서 일반 임베딩 및 다른 위치 강화 임베딩을 능가한다.
• Transformer 계열에 순서 인식 복소 임베딩이 크게 이익을 보이며, 유사한 효율성을 유지하면서 경쟁적이거나 우수한 성능을 보여준다.
• 이 접근은 허수 성분을 단어 순서 정보로 구체적으로 해석하여 복소수 표현과 언어적 구조를 연결한다.
• 소거 연구는 특정 설계 선택(예: 초기 위상, 공유 방식)이 성능과 매개변수 효율성에 영향을 준다는 것을 보여준다.