[논문 리뷰] Phrase-Based Attentions

Phi Xuan Nguyen, Shafiq Joty|arXiv (Cornell University)|2018. 09. 30.

Topic Modeling참고 문헌 16인용 수 10

한 줄 요약

이 논문은 토큰이 아닌 n-그램 어휘구문을 대상으로 주의를 기울일 수 있도록 트랜스포저 모델을 확장하는 어휘구문 기반 주의 메커니즘을 제안한다. 이는 더 견고한 어휘구문 대응을 가능하게 한다. 새로운 주의 구조인 ConvKV, QueryK 및 교차된 이종 주의를 도입함으로써, 영어-독어 번역에서 1.3 BLEU, 독어-영어 번역에서 0.5 BLEU의 성능 향상을 이룬다. WMT'14 벤치마크에서 성과 향상 달성.

ABSTRACT

Most state-of-the-art neural machine translation systems, despite being different in architectural skeletons (e.g. recurrence, convolutional), share an indispensable feature: the Attention. However, most existing attention methods are token-based and ignore the importance of phrasal alignments, the key ingredient for the success of phrase-based statistical machine translation. In this paper, we propose novel phrase-based attention methods to model n-grams of tokens as attention entities. We incorporate our phrase-based attentions into the recently proposed Transformer network, and demonstrate that our approach yields improvements of 1.3 BLEU for English-to-German and 0.5 BLEU for German-to-English translation tasks on WMT newstest2014 using WMT'16 training data.

연구 동기 및 목표

• 어휘기반 SMT에서 중요한 어휘구문 대응을 간과하는 토큰 기반 주의의 한계를 해결하기 위해.
• 최신 트랜스포저 모델에 어휘구문 대응을 통합하여 조합적 및 비조합적 어휘구문을 더 잘 포착하기 위해.
• 토큰-토큰, 토큰-어휘구문, 어휘구문-토큰, 어휘구문-어휘구문의 네 가지 매핑 유형을 모두 지원하는 주의 메커니즘을 설계하기 위해.
• 어휘구문 수준의 주의가 종단 간 NMT에서 표준 토큰 기반 주의를 초월해 번역 품질을 향상시킬 수 있음을 입증하기 위해.
• 계층 간 어휘구문 의존성 모델링을 통해 더 해석 가능하고 견고한 주의 패턴을 가능하게 하기 위해.

제안 방법

• 두 가지 핵심 어휘구문 기반 주의 메커니즘 제안: ConvKV는 어휘구문 수준의 키와 값을 생성하기 위해 컨볼루션 커널을 사용하고, QueryK는 어휘구문 수준의 쿼리 표현을 학습한다.
• 세 가지 주의 구조 설계: 동종(쿼리와 키에 동일한 n-그램 유형 사용), 이종(혼합된 n-그램 유형 사용), 교차된 이종(모든 네 가지 매핑 유형을 통합한 프레임워크).
• 기존 아키텍처의 자기주의 및 교차주의 메커니즘을 유지하면서, 트랜스포저의 모든 멀티헤드 주의 레이어에 어휘구문 기반 주의를 통합한다.
• 학습 가능한 파rameter를 사용해 토큰 임베딩에서 어휘구문 표현을 생성함으로써, 다양한 길이의 n-그램에 주의를 기울일 수 있도록 한다.
• 표준 주의 계산과의 호환성을 유지하기 위해 어휘구문 수준의 주의 점수에 소프트맥스 정규화를 적용한다.
• WMT’16 훈련 데이터를 사용해 표준 NMT 목표와 교차 엔트로피 손실을 기반으로 모델을 종단 간으로 훈련한다.

실험 결과

연구 질문

• RQ1 어휘구문 기반 주의 메커니즘이 명시적인 n-그램 대응을 모델링함으로써 신경 기계 번역 성능 향상에 기여할 수 있는가?
• RQ2 동종, 이종, 교차된 이종 주의 구조는 다양한 어휘구문 대응 패턴을 포착하는 데 어떻게 비교되는가?
• RQ3 어휘구문 수준 주의의 포함 여부가 토큰 수준 주의보다 더 해석 가능하거나 견고한 주의 분포를 제공하는가?
• RQ4 트랜스포저의 어느 계층에서 어휘구문-어휘구문 및 기타 어휘구문 주의 패턴이 가장 강하게 나타나는가?
• RQ5 아키텍처의 대대적인 수정 없이도 어휘구문 기반 주의가 주의 메커니즘 수정만으로 BLEU 점수 향상을 이끌 수 있는가?

주요 결과

• 교차된 이종 주의 구조가 가장 높은 성능 향상을 기록하여, 영어-독어 번역에서 +1.33 BLEU, 독어-영어 번역에서 +0.48 BLEU의 성과 향상을 달성했다.
• 어휘구문-어휘구문 주의는 중간 계층(예: 레이어 3)에서 가장 활성화되어 있으며, 주의 활성화의 96.16%를 차지한다. 이는 어휘구문 수준의 대응이 네트워크 내에서 초기에 학습됨을 시사한다.
• 상위 계층(예: 레이어 6)에서는 토큰-토큰 주의가 지배적이며, 이는 토큰을 순차적으로 생성하는 자동회귀적 생성 과정과 일치한다.
• 이종 모델은 동종 모델보다 성능이 뛰어나며, 특히 삼중어구 성분을 포함할 경우 더욱 두드러진다. 이는 다양한 n-그램 유형 선택의 유연성이 부적절한 대응에서 오는 노이즈를 감소시킨다는 것을 시사한다.
• 교차된 이종 및 이종 설정에서 QueryK는 ConvKV를 능가하며, 이는 학습 가능한 어휘구문 쿼리가 고정 커널 기반 키 생성보다 더 효과적이라는 것을 의미한다.
• 주의 메커니즘이 계층을 거쳐 어휘구문 수준에서 토큰 수준 주의로의 전환을 성공적으로 수행함으로써, 트랜스포저 내에서 계층적 처리 패턴이 반영됨을 보여준다.