[논문 리뷰] Evaluating Layers of Representation in Neural Machine Translation on Part-of-Speech and Semantic Tagging Tasks

Yonatan Belinkov, Lluı́s Màrquez외 4명|arXiv (Cornell University)|2018. 01. 23.

Natural Language Processing Techniques참고 문헌 26인용 수 81

한 줄 요약

논문은 계층별 NMT 표현을 단어 수준 POS 및 SEM 태깅 분류기의 특징으로 사용하여 NMT 인코더 레이어가 POS 및 의미 태깅 정보를 어떻게 인코딩하는지 조사하고, 하위 레이어가 POS를 선호하는 반면 상위 레이어가 의미 정보를 포착한다는 것을 밝힙니다.

ABSTRACT

While neural machine translation (NMT) models provide improved translation quality in an elegant, end-to-end framework, it is less clear what they learn about language. Recent work has started evaluating the quality of vector representations learned by NMT models on morphological and syntactic tasks. In this paper, we investigate the representations learned at different layers of NMT encoders. We train NMT systems on parallel data and use the trained models to extract features for training a classifier on two tasks: part-of-speech and semantic tagging. We then measure the performance of the classifier as a proxy to the quality of the original NMT model for the given task. Our quantitative analysis yields interesting insights regarding representation learning in NMT models. For instance, we find that higher layers are better at learning semantics while lower layers tend to be better for part-of-speech tagging. We also observe little effect of the target language on source-side representations, especially with higher quality NMT models.

연구 동기 및 목표

• NMT 모델의 어떤 인코더 레이어가 POS 태깅에 유용한 표현을 학습하는지 determine.
• NMT 모델의 어떤 인코더 레이어가 의미 태깅(SEM)에 유용한 표현을 학습하는지 determine.
• 대상 언어와 모델 아키텍처가 NMT의 소스 측 표현에 어떤 영향을 미치는지 평가.
• NMT에서 도출된 표현과 기준(베이스라인) 및 인코더-디코더 Word2Tag 상한선을 비교합니다.

제안 방법

• 6개 대상 언어에 걸쳐 fully-aligned UN 병렬 데이터에서 NMT 시스템을 학습합니다.
• 사전 학습된 NMT 모델에서 소스 단어마다 인코더 레이어 표현을 추출합니다.
• 레이어별 특징을 사용해 POS 또는 SEM 태그를 예측하는 단어 수준 분류기를 학습합니다.
• 각 작업에서 NMT 표현의 질을 대리 지표로 분류기 정확도를 평가합니다.
• 레이어 간, 대상 언어, 아키텍처(단방향/양방향, 잔차 접근) 간 비교를 수행합니다.
• 맥락을 위한 베이스라인(가장 빈번한 태그, 비지도 임베딩) 및 인코더-디코더 Word2Tag 상한선을 사용합니다.

실험 결과

연구 질문

• RQ1 NMT 모델의 어떤 인코더 레이어가 POS 태깅에 가장 좋은 표현을 생성하는가?
• RQ2 NMT 모델의 어떤 인코더 레이어가 SEM 태깅에 가장 좋은 표현을 생성하는가?
• RQ3 NMT 모델을 학습할 때 대상 언어가 소스 측 표현에 어떤 영향을 미치는가?
• RQ4 구조적 변형(양방향 인코더, 잔차 연결)이 POS 및 SEM 태깅의 계층별 표현 품질에 영향을 주는가?
• RQ5 영어 자동인코더와 MT-학습 인코더 간 표현 품질에 차이가 있는가?

주요 결과

• 하위 인코더 레이어가 보통 POS 태깅에 더 좋다.
• 상위 인코더 레이어가 SEM 태깅을 위한 의미 정보 포착에 더 강하다.
• 4번째 레이어의 표현은 대상 언어에 걸쳐 SEM 태깅 성능을 향상시키며(중국어 제외) 종종 하위 레이어를 능가한다.
• 데이터가 충분한 경우 대상 언어에 따른 소스 표현 영향은 작고, 학습 데이터가 적을수록 그 영향이 더 뚜렷하다.
• 양방향 인코더와 잔차 연결은 일반적으로 번역 품질과 SEM 태깅 성능을 향상시키며, SEM은 상위 레이어의 이점을 더 크게 얻는 경향이 있다.