[논문 리뷰] Self-Attention with Structural Position Representations

Xing Wang, Zhaopeng Tu외 2명|arXiv (Cornell University)|2019. 09. 01.

Topic Modeling참고 문헌 36인용 수 7

한 줄 요약

이 논문은 의존 구조 트리에서 유도된 절대적이고 상대적인 구조적 위치 표현을 제안하여 자기주의성 주의 네트워크(SANs)에 문법적 구조 인식 능력을 향상시킨다. 트랜스포머에 이러한 표현을 통합함으로써, NIST 및 WMT14 번역 벤치마크에서 표준 순차적 위치 인코딩 대비 번역 성능이 최대 0.93 BLEU 포인트 향상되며, 이는 구조적 인코딩이 순차적 순서 외의 보완적인 문법 정보를 포착할 수 있음을 보여준다.

ABSTRACT

Although self-attention networks (SANs) have advanced the state-of-the-art on various NLP tasks, one criticism of SANs is their ability of encoding positions of input words (Shaw et al., 2018). In this work, we propose to augment SANs with structural position representations to model the latent structure of the input sentence, which is complementary to the standard sequential positional representations. Specifically, we use dependency tree to represent the grammatical structure of a sentence, and propose two strategies to encode the positional relationships among words in the dependency tree. Experimental results on NIST Chinese-to-English and WMT14 English-to-German translation tasks show that the proposed approach consistently boosts performance over both the absolute and relative sequential position representations.

연구 동기 및 목표

• 자기주의성 주의 네트워크가 순차적 단어 순서를 초월한 문법적 구조를 포착하는 데에 한계가 있음을 해결하기 위해.
• 의존 구조 트리에서 유도된 구조적 위치 표현이 신경 기계 번역 작업 성능 향상에 기여하는지 조사하기 위해.
• 기존의 순차적 위치 인코딩과 보완되는 절대적 및 상대적 구조적 위치 인코딩 전략을 제안하고 평가하기 위해.
• 의존 구조 트리에서의 문법 깊이와 거리가 NLP의 시퀀스 모델링에 유용한 인도적 편향을 제공하는지 입증하기 위해.

제안 방법

• 방법은 문장의 문법적 구조를 의존 구조 트리로 표현하고, 단어 간의 구조적 깊이와 쌍별 거리를 추출한다.
• 절대적 구조적 위치 인코딩은 의존 구조 트리에서 각 단어의 깊이를 나타내며, 상대적 구조적 위치 인코딩은 트리 내 단어 쌍 간의 거리를 캡처한다.
• 이러한 구조적 표현은 표준 위치 인코딩과 유사하게 학습 가능한 임베딩을 통해 자기주의성 주의 메커니즘에 통합된다.
• 이 방법은 트랜스포머 아키텍처 위에 적용되며, 절대적 및 상대적 구조적 위치 인코딩이 인코더와 디코더에 모두 통합된다.
• 모델은 중국어-영어 및 영어-독일어 번역 작업에서 훈련되며, 구조적 인코딩의 기여도를 분리하기 위해 추론 실험을 실시한다.
• 표준 절대적 및 상대적 순차적 위치 인코딩과 함께 구조적 위치 표현을 평가하여 성능 향상을 측정한다.

실험 결과

연구 질문

• RQ1 의존 구조 트리에서 유도된 구조적 위치 표현이 신경 기계 번역 작업에서 자기주의성 주의 네트워크 성능 향상에 기여할 수 있는가?
• RQ2 절대적 및 상대적 구조적 위치 인코딩은 표준 절대적 및 상대적 순차적 위치 인코딩과 비교해 번역 품질 측면에서 어떻게 성능을 내는가?
• RQ3 구조적 위치 인코딩의 통합이 모델 표현에서 더 나은 문법 지식 캡처를 이끌어내는가?
• RQ4 구조적 인코딩의 향상 효과는 다양한 언어 쌍과 모델 크기에 걸쳐 일관된가?

주요 결과

• 제안된 구조적 위치 인코딩은 기준 트랜스포머-빅 대비 네 개의 NIST 중국어-영어 테스트 세트에서 평균 0.59 BLEU 포인트 향상된 번역 성능을 기록한다.
• WMT14 영어-독일어 번역 작업에서, 구조적 위치 인코딩은 기준 트랜스포머-빅 대비 0.93 BLEU 포인트 향상된 성능을 달성한다.
• 상대적 순차적 위치 인코딩과 구조적 위치 인코딩의 조합은 오직 상대적 순차적 인코딩만을 사용하는 기준 대비 0.71 BLEU 포인트 향상된 성능을 기록한다.
• 언어학적 探査(probing) 결과, 구조적 위치 인코딩은 문법 탐색 정확도를 64.98에서 65.87로 향상시켜 학습된 표현에서 더 나은 문법 지식 유지가 이루어졌음을 시사한다.
• 추론 실험 결과, 절대적 및 상대적 순차적 위치 인코딩과 함께 사용되더라도 구조적 위치 인코딩이 유의미한 성능 향상을 제공하는 것으로 확인되었다.
• 구조적 위치 인코딩을 통합한 모델는 높은 디코딩 속도를 유지하여 제안된 수정 사항이 최소한의 계산 오버헤드를 유발한다는 점을 보여준다.