[논문 리뷰] Assessing the Ability of Self-Attention Networks to Learn Word Order

Baosong Yang, Longyue Wang외 3명|arXiv (Cornell University)|2019. 06. 03.

Topic Modeling참고 문헌 47인용 수 5

한 줄 요약

이 논문은 자기주의망(SAN), RNN, 방향성 자기주의망(DiSAN)이 단어 순서 정보를 얼마나 잘 학습하는지 실증적으로 평가하기 위해 새로운 단어 재정렬 탐지(WRD) 작업을 도입한다. 재귀성이 없는 SAN은 기계 번역 데이터로 훈련되었을 때 RNN과 DiSAN보다도 뛰어난 성능을 보이며, 실질적으로 단어 순서를 포착하는 데 있어 학습 목표가 아키텍처보다 더 중요하다는 것을 보여준다.

ABSTRACT

Self-attention networks (SAN) have attracted a lot of interests due to their high parallelization and strong performance on a variety of NLP tasks, e.g. machine translation. Due to the lack of recurrence structure such as recurrent neural networks (RNN), SAN is ascribed to be weak at learning positional information of words for sequence modeling. However, neither this speculation has been empirically confirmed, nor explanations for their strong performances on machine translation tasks when "lacking positional information" have been explored. To this end, we propose a novel word reordering detection task to quantify how well the word order information learned by SAN and RNN. Specifically, we randomly move one word to another position, and examine whether a trained model can detect both the original and inserted positions. Experimental results reveal that: 1) SAN trained on word reordering detection indeed has difficulty learning the positional information even with the position embedding; and 2) SAN trained on machine translation learns better positional information than its RNN counterpart, in which position embedding plays a critical role. Although recurrence structure make the model more universally-effective on learning word order, learning objectives matter more in the downstream tasks such as machine translation.

연구 동기 및 목표

• 자기주의망(SAN)이 이론적으로 재귀성이 없기 때문에 약한 것으로 간주되는 바, 실제로 단어 순서 정보를 효과적으로 학습할 수 있는지 실증적으로 평가하는 것.
• 재귀성 아키텍처(RNN, DiSAN)가 기계 번역과 같은 후행 작업에서 SAN보다 단어 순서 학습에 있어 본질적으로 더 효과적인지 조사하는 것.
• SAN이 단어 순서를 포착할 수 있도록 하는 데에 위치 임베딩의 역할을 평가하며, 특히 재귀 기반 모델과의 비교를 통해 분석하는 것.
• 학습 목표(예: 기계 번역 vs. 단어 재정렬 탐지)가 모델 아키텍처보다 단어 순서 학습에 더 큰 영향을 미치는지 판단하는 것.
• 신경 기계 번역에서 오류가 있는 단어 순서 입력에 대해 다양한 아키텍처의 내성적 저항력을 이해하는 것.

제안 방법

• 문장 내에서 한 단어를 무작위로 다른 위치로 이동시키고, 모델이 원래 위치와 삽입된 위치를 모두 탐지하도록 하는 새로운 탐지 작업인 단어 재정렬 탐지(WRD)를 제안한다.
• 인코더의 문맥적 표현을 기반으로 원래(O) 및 삽입된(I) 위치를 예측하기 위해 포인터 네트워크 헤드를 갖춘 위치 탐지기 설계.
• WMT'14 영어-독일어 데이터셋을 사용하여 (1) WRD 작업 자체와 (2) 신경 기계 번역(NMT) 목표로 SAN, RNN, DiSAN 인코더를 훈련 및 평가.
• 기본으로 사전 훈련된 또는 무작위로 초기화된 인코더를 사용하고, 아키텍처와 학습 목표의 영향을 분리하기 위해 WRD 작업에서 미세조정한다.
• NMT 개발 세트에 단어 순서 교란을 도입하고 번역 품질 저하를 측정하여 모델의 내성적 저항력을 평가.
• 다양한 아키텍처의 히든 상태에 단어 순서가 얼마나 잘 인코딩되어 있는지 분석하기 위해 토큰 수준의 표현을 분석.

실험 결과

연구 질문

• RQ1 재귀성 아키텍처는 단어 순서 학습에 필수적인가? 이는 기계 번역과 같은 다양한 작업에서 성립하는가?
• RQ2 모델 아키텍처(SAN 대 RNN 대 DiSAN)가 단어 순서 학습 능력을 본질적으로 결정짓는가, 아니면 학습 목표가 더 중요한가?
• RQ3 위치 임베딩만으로도 SAN이 단어 순서 정보를 효과적으로 학습할 수 있는가? 특히 재귀 기반 모델과 비교했을 때 어떻게 되는가?
• RQ4 학습 목표(예: WRD 대 NMT)가 모델이 후행 작업에서 단어 순서 오류를 탐지하고 처리하는 데 있어 어떤 영향을 미치는가?
• RQ5 다양한 아키텍처는 신경 기계 번역에서 입력 단어 순서의 교란에 대해 얼마나 내성적 저항력을 가지는가?

주요 결과

• 단어 재정렬 탐지(WRD) 작업에만 훈련된 SAN은 RNN과 DiSAN보다 유의미하게 열등한 성능을 보이며, SAN이 강력한 학습 목표 없이 단어 순서를 학습하는 데 어려움을 겪는다는 것을 확인한다.
• 기계 번역 목표로 훈련된 SAN은 WRD 작업에서 RNN과 DiSAN를 모두 앞서며, 학습 목표가 SAN이 단어 순서를 더 효과적으로 학습하도록 돕는다는 것을 보여준다.
• 위치 임베딩은 SAN이 단어 순서를 학습하는 데 핵심적인 역할을 하며, 특히 재귀성이 없는 상황에서 단어 순서를 보완하는 데 기여한다.
• 자기주의망과 재귀성을 결합한 DiSAN는 SAN보다 더 광범위하게 효과적인 단어 순서 학습 능력을 보이며, 재귀 모델링이 내성적 저항력을 향상시킨다는 것을 시사한다.
• RNN 기반 모델은 훈련 중에 이러한 노이즈를 접하지 않기 때문에 NMT에서 단어 순서 교란에 더 민감하며, 성능 저하가 더 크다.
• SAN 기반 NMT 모델은 테스트 입력에서 단어 순서 노이즈에 더 내성적 저항력을 보이며, 훈련 과정에서 비정상적인 순서 정보를 유지하도록 학습함으로써 더 나은 일반화 능력을 확보한다.