[논문 리뷰] How Can BERT Help Lexical Semantics Tasks?

Yile Wang, Leyang Cui외 1명|arXiv (Cornell University)|2019. 11. 07.

Natural Language Processing Techniques참고 문헌 36인용 수 5

한 줄 요약

이 논문은 스킵그램 모델 학습 중에 BERT의 컨텍스트 기반 표현을 통합하여 고정형 단어 임베딩을 향상시키는 방법을 제안한다. BERT의 동적 임베딩을 중심 단어 표현에 활용함으로써, 단어 유사도 및 어법 성능을 향상시키며, 단어의 의미 해석을 더 잘하고 문장 수준의 의미를 더 잘 포착함으로써 일곱 개의 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Contextualized embeddings such as BERT can serve as strong input representations to NLP tasks, outperforming their static embeddings counterparts such as skip-gram, CBOW and GloVe. However, such embeddings are dynamic, calculated according to a sentence-level context, which limits their use in lexical semantics tasks. We address this issue by making use of dynamic embeddings as word representations in training static embeddings, thereby leveraging their strong representation power for disambiguating context information. Results show that this method leads to improvements over traditional static embeddings on a range of lexical semantics tasks, obtaining the best reported results on seven datasets.

연구 동기 및 목표

• BERT와 같은 동적 임베딩의 맥락 의존성으로 인해 어휘 의미 작업에서 한계가 존재하는 문제를 해결하기 위해.
• 학습 중에 BERT의 풍부한 맥락 표현을 활용하여 고정형 단어 임베딩을 향상시키기 위해.
• 고정형 스킵그램 모델의 장점을 맥락 기반 임베딩의 의미 해석 능력과 융합하는 방법을 개발하기 위해.
• 기존의 고정형 및 동적 임베딩 방법보다 어휘 의미 벤치마크에서 더 높은 성능을 달성하기 위해.

제안 방법

• 모델은 BERT의 동적 단어 임베딩을 스킵그램 학습 과정에 통합하여, 중심 단어의 입력으로 BERT의 맥락 기반 표현을 사용한다.
• 학습 중에 중심 단어 벡터는 BERT의 문장 수준 표현을 사용해 동적으로 업데이트되며, 이로써 단어의 의미 해석 능력이 향상된다.
• 모델는 문맥 단어를 예측하는 스킵그램 목적함수를 유지하지만, BERT에서 유래한 동적으로 정보화된 중심 단어 벡터를 사용한다.
• 최종 고정형 단어 임베딩는 역전파를 통해 학습되며, 스킵그램의 인덕티브 바이어스와 BERT의 의미 풍부함을 결합한다.
• 사전 정의된 단어 의미나 외부 의미 해석 도구에 의존하지 않아 엔드 투 엔드 학습이 가능하다.
• 표준 어휘 의미 벤치마크, 즉 단어 유사도 및 어법 작업에서 모델이 평가된다.

실험 결과

연구 질문

• RQ1 BERT와 같은 동적 맥락 기반 임베딩이 어휘 의미 작업을 위한 고정형 단어 임베딩 향상에 효과적으로 활용될 수 있는가?
• RQ2 스킵그램 학습 중에 BERT의 맥락 인식 표현을 통합할 경우, 단어 유사도 및 어법 작업 성능에 어떤 영향을 미치는가?
• RQ3 제안된 방법이 기존의 고정형 임베딩과 BERT 임베딩의 평균화 방식보다 어휘 의미 벤치마크에서 더 나은 성능을 내는가?
• RQ4 동적 임베딩의 사용이 고정형 모델 대비 단어 표현의 모호성을 어느 정도 줄이는가?
• RQ5 학습된 임베딩의 최근접 이웃 및 벡터 공간 기하학은 인간의 판단과 기준 모델에 비해 어떻게 다른가?

주요 결과

• 제안된 방법은 일곱 개의 어휘 의미 데이터셋에서 보고된 최고의 성능을 달성하며, 기존의 고정형 임베딩과 직접적인 BERT 평균화 방식을 모두 능가한다.
• 모델은 특히 '자치국-수도' 및 '국적-형용사' 쌍에서 BERT 토큰 및 BERT 평균 모델이 성능이 떨어지는 어법 작업에서 성능 향상을 크게 이룬다.
• 최근접 이웃 분석 결과, 'while'이라는 단어에 대해 인간의 직관과 더 잘 일치하는 의미적으로 일관된 동의어인 'whilst', 'whereas', 'although'를 성공적으로 검색한다.
• t-SNE 시각화 결과, 'he/she' 및 'policeman/policewoman'과 같은 단어 쌍에서 모델의 임베딩이 일관된 성별 어법을 유지함을 확인하여, 더 나은 벡터 공간 기하학을 보여준다.
• 어텐션 시각화 결과, 모델은 의미적으로 관련된 문맥 단어에 높은 어텐션을 집중시키며, 'the'와 같은 정지어에는 낮은 어텐션을 보여, 의미 있는 어텐션 패턴을 학습함을 확인한다.
• SynGCN는 문법적 구조에 과도하게 의존하여 어법 작업에서 성능이 열등하지만, 제안된 방법은 의미와 맥락을 균형 있게 반영하여 더 견고한 표현을 도출한다.