[논문 리뷰] An Intrinsic Nearest Neighbor Analysis of Neural Machine Translation Architectures

Hamidreza Ghader, Christof Monz|arXiv (Cornell University)|2019. 07. 08.

Natural Language Processing Techniques참고 문헌 14인용 수 4

한 줄 요약

이 논문은 Transformer 및 순환 구조를 포함한 신경 기계 번역 모델의 내재적 분석을 통해 인코더 히든 상태의 가장 가까운 이웃을 분석한다. 분석 결과, Transformer는 어휘 의미를 잘 포착하지만 문법적 구조를 모델링하는 데서는 일관되게 뛰어나지 않으며, 이중 순환 신경망은 전방 및 후방 레이어에서 의미와 맥락을 다르게 인코딩하는 것으로 나타났다.

ABSTRACT

Earlier approaches indirectly studied the information captured by the hidden states of recurrent and non-recurrent neural machine translation models by feeding them into different classifiers. In this paper, we look at the encoder hidden states of both transformer and recurrent machine translation models from the nearest neighbors perspective. We investigate to what extent the nearest neighbors share information with the underlying word embeddings as well as related WordNet entries. Additionally, we study the underlying syntactic structure of the nearest neighbors to shed light on the role of syntactic similarities in bringing the neighbors together. We compare transformer and recurrent models in a more intrinsic way in terms of capturing lexical semantics and syntactic structures, in contrast to extrinsic approaches used by previous works. In agreement with the extrinsic evaluations in the earlier works, our experimental results show that transformers are superior in capturing lexical semantics, but not necessarily better in capturing the underlying syntax. Additionally, we show that the backward recurrent layer in a recurrent model learns more about the semantics of words, whereas the forward recurrent layer encodes more context.

연구 동기 및 목표

• 히든 상태에 포함된 정보가 무엇인지에 중점을 두어 신경 기계 번역 모델의 내재적 분석을 제공한다.
• Transformer 및 순환 모델의 히든 상태 이웃들이 얼마나 어휘 의미와 문법적 구조를 포착하는지 조사한다.
• 이전의 외재적 평가보다 더 직접적인 내재적 방법을 통해 Transformer와 순환 모델이 의미와 문법을 얼마나 잘 인코딩하는지 비교한다.
• 문법 유사성이 가장 가까운 이웃의 군집화에 어떤 역할을 하는지 이해하고, 문법적 구조가 표현 군집화에 어떻게 영향을 주는지 탐구한다.

제안 방법

• 히든 상태 공간에서 코사인 유사도를 사용하여 인코더 히든 상태의 가장 가까운 이웃을 식별한다.
• 어휘 유사도를 측정하는 지표를 사용하여 이웃 간의 유사성과 그들의 기초가 되는 단어 임베딩 간의 유사성을 분석한다.
• WordNet과 관련된 항목을 비교하여 이웃들이 얼마나 어휘 의미를 잘 포착하는지 평가함으로써 의미 관련성을 평가한다.
• 품사 태깅 및 의존성 파싱을 사용하여 가장 가까운 이웃의 문법적 구조를 분석함으로써 문법적 일관성을 평가한다.
• 이중 순환 RNN의 전방 및 후방 레이어를 비교하여 의미 및 맥락 인코딩의 차이를 규명한다.
• 하류 분류기 성능에 의존하지 않고, 히든 표현을 직접 탐사하기 위해 내재적 평가를 사용한다.

실험 결과

연구 질문

• RQ1 히든 상태의 가장 가까운 이웃들이 입력 단어 임베딩과 얼마나 많은 어휘 의미를 공유하는가?
• RQ2 가장 가까운 이웃들이 문법적 구조를 얼마나 잘 반영하는가? 그리고 문법 유사성이 이웃 형성에 어떤 역할을 하는가?
• RQ3 내재적 분석을 통해 Transformer와 순환 모델이 어휘 의미와 문법적 구조를 얼마나 잘 포착하는가?
• RQ4 의미 및 맥락 인코딩 측면에서 전방 및 후방 순환 레이어 간의 功能적 차이는 무엇인가?

주요 결과

• Transformer는 이웃과 단어 임베딩 간의 유사도가 더 높아 어휘 의미를 순환 모델보다 더 잘 포착함을 입증한다.
• 의미 포착에서의 우수성에도 불구하고, Transformer는 문법적 구조 포착에서 일관되게 순환 모델을 능가하지는 않는다.
• 이중 RNN의 후방 레이어는 입력 단어에 대한 더 많은 의미 정보를 인코딩하지만, 전방 레이어는 더 많은 맥락적 의존성을 포착한다.
• 가장 가까운 이웃들은 뚜렷한 문법 일관성을 보이며, 이는 문법 유사성이 히든 상태 공간 내 이웃 군집화에 기여함을 시사한다.
• 내재적 분석 결과, 문법적 구조가 어떤 히든 상태가 가장 가까운 이웃이 되는지 결정하는 데 측정 가능한 역할을 한다는 것이 드러났다.
• 결과는 이전의 외재적 평가와 일치하지만, 다양한 아키텍처의 내재적 표현 특성에 대해 더 깊은 통찰을 제공한다.