[논문 리뷰] Cross-lingual Word Sense Disambiguation using mBERT Embeddings with Syntactic Dependencies

Xingran Zhu|arXiv (Cornell University)|2020. 12. 09.

Natural Language Processing Techniques참고 문헌 13인용 수 6

한 줄 요약

이 논문은 mBERT 임베딩에 문법적 의존 관계를 통합하여 교차 언어적 단어 의미 해석(이하 WSD) 시스템을 제안한다. 타겟 단어, 헤드 단어, 종속 단어의 임베딩을 연결하여 제안한다. 비록 단일 언어인 영어 데이터에서 63.69%의 정확도를 달성했지만, 교차 언어적 영어-프랑스어 평가에서는 성능이 저하되어 37.50%에 그치며, 고차원적 임베딩과 낮은 교차 언어 일반화 능력으로 인해 다국어 WSD에 문법 정보를 통합한 BERT의 확장에 있어 도전 과제가 드러나 있다.

ABSTRACT

Cross-lingual word sense disambiguation (WSD) tackles the challenge of disambiguating ambiguous words across languages given context. The pre-trained BERT embedding model has been proven to be effective in extracting contextual information of words, and have been incorporated as features into many state-of-the-art WSD systems. In order to investigate how syntactic information can be added into the BERT embeddings to result in both semantics- and syntax-incorporated word embeddings, this project proposes the concatenated embeddings by producing dependency parse tress and encoding the relative relationships of words into the input embeddings. Two methods are also proposed to reduce the size of the concatenated embeddings. The experimental results show that the high dimensionality of the syntax-incorporated embeddings constitute an obstacle for the classification task, which needs to be further addressed in future studies.

연구 동기 및 목표

• mBERT 임베딩에 문법적 의존 관계를 통합하여 교차 언어적 단어 의미 해석 성능을 향상시키기.
• 의존 관계 분석(의존 관계 파싱을 통한)이 WSD를 위한 문맥적 단어 표현을 향상시키는지 조사하기.
• 단일 언어 및 교차 언어 WSD 작업 모두에서 문법 정보를 통합한 임베딩의 성능 평가하기.
• 합성 임베딩으로 인한 차원의 저주 문제를 해결하기 위해 크기 축소 기법을 통한 처리하기.
• 영어 데이터로 훈련된 모델이 영어-프랑스어와 같은 저자원 교차 언어 환경으로 일반화할 수 있는지 평가하기.

제안 방법

• 모든 문장에 대해 의존 관계 파싱 트리를 생성하여 모호한 단어와 그 헤드 및 종속 단어 간의 문법적 관계를 식별한다.
• 모호한 단어, 그 헤드 단어, 종속 단어의 mBERT 임베딩을 연결하여 하나의 고차원 입력 벡터로 통합한다.
• 차원 축소를 두 가지 방법으로 탐색: (1) 타겟 단어와 헤드 단어 임베딩만 유지하는 방식(헤드 단일), (2) 세 개의 임베딩을 요소별 곱셈으로 처리하는 방식.
• 최종 표현에서 타겟 단어 임베딩의 영향력을 높이기 위해 타겟 단어 임베딩을 2배로 확대하는 방식을 제안한다.
• 의미가 주석 처리된 모호한 단어를 포함한 8,000개의 영어 문장 쌍을 기반으로 다층 퍼셉트론(MLP) 분류기 모델을 훈련한다.
• 유사한 전처리 및 임베딩 연결 방식을 사용하여 교차 언어적 영어-프랑스어 시험 데이터셋에서 훈련된 모델을 평가한다.

실험 결과

연구 질문

• RQ1 mBERT 임베딩에 문법적 의존 관계를 통합하면 교차 언어적 단어 의미 해석 성능이 향상되는가?
• RQ2 합성 임베딩의 고차원성이 WSD 작업의 분류 정확도에 어떤 영향을 미치는가?
• RQ3 헤드 단일 선택 또는 요소별 곱셈과 같은 차원 축소 기법이 WSD에 필수적인 의미적 및 문법적 정보를 유지하는가?
• RQ4 타겟 단어 임베딩을 확대함으로써 그 역할이 의미 분류에 기여하는지 성능 향상이 이루어지는가?
• RQ5 영어 단일 언어 데이터로 훈련된 모델이 영어-프랑스어 WSD와 같은 교차 언어 환경으로 얼마나 일반화되는가?

주요 결과

• 합성 임베딩 방식은 단일 언어 영어 WSD에서 63.69%의 테스트 정확도를 달성했으며, 문법 통합이 없는 기본 mBERT보다 높은 성능을 보였다.
• 헤드 단일 및 요소별 곱셈을 통한 차원 축소 기법은 성능 저하를 초래했으며, 특히 요소별 곱셈은 48.19%로 떨어져 중요한 정보 손실이 있음을 시사했다.
• 타겟 단어 임베딩을 2배로 확대한 결과 정확도가 63.69%에서 63.19%로 약간 감소하여 임베딩 공간 내의 문법적 관계가 왜곡되었음을 시사했다.
• 교차 언어적 영어-프랑스어 평가에서 모델의 성능은 매우 열악하여 정확도가 오직 37.50%에 그쳐 언어 간 일반화 능력이 열악함을 보여주었다.
• 문법 정보를 통합한 임베딩의 고차원성은 효과적인 분류에 있어 중대한 장애물이며, 향후 효율적인 표현 학습 기법 개발이 필요하다.
• 결과적으로 문법 정보를 mBERT에 통합할 수는 있지만, 현재의 연결 및 축소 방법은 최적화되지 않았으며, 다국어 전이를 위해 더 정교한 정규화 또는 특징 공학 기법이 필요할 수 있음을 시사한다.