[논문 리뷰] A Simple BERT-Based Approach for Lexical Simplification

Jipeng Qiang, Yun Li외 3명|arXiv (Cornell University)|2019. 07. 14.

Text Readability and Simplification참고 문헌 11인용 수 10

한 줄 요약

이 논문은 문맥을 고려한 BERT의 문맥적 단어 표현을 활용하여 문장 내에서 단순화된 단어 치환어를 생성하는 간단하고 완전히 비지도 기반의 BERT 기반 접근법을 제안한다. 언어학적 데이터베이스나 병렬 어휘 자료를 사용하지 않음에도 불구하고, 세 가지 벤치마크 데이터셋에서 기존 최고 성능 기준을 11점 이상 초월한다.

ABSTRACT

Lexical simplification (LS) aims to replace complex words in a given sentence with their simpler alternatives of equivalent meaning. Recently unsupervised lexical simplification approaches only rely on the complex word itself regardless of the given sentence to generate candidate substitutions, which will inevitably produce a large number of spurious candidates. We present a simple BERT-based LS approach that makes use of the pre-trained unsupervised deep bidirectional representations BERT. Despite being entirely unsupervised, experimental results show that our approach obtains obvious improvement than these baselines leveraging linguistic databases and parallel corpus, outperforming the state-of-the-art by more than 11 Accuracy points on three well-known benchmarks.

연구 동기 및 목표

• 기존의 비지도 어휘 단순화 방법이 문맥을 忽시함으로써 다수의 부적절한 후보어를 생성하는 한계를 해결하기 위해.
• 사전에 학습된 문맥 기반 임베딩인 BERT의 표현이 외부 언어학적 자원이 필요 없이도 어휘 단순화 성능을 향상시킬 수 있는지 탐색하기 위해.
• 표준 벤치마크에서 지도 학습 및 자원 집약적인 기준보다 뛰어난 성능을 보이는 간단하면서도 효과적인 비지도 방법을 개발하기 위해.
• 문맥 기반 표현만으로도 어휘 단순화 정확도를 크게 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 이 방법은 입력 문장과 복잡한 단어를 문맥에서 인코딩하기 위해 BERT를 사용하여 풍부한 문맥 표현을 캡처한다.
• BERT에서 생성된 문맥 기반 임베딩을 사용하여 복잡한 단어와 후보어 단어 간의 의미 유사도를 계산한다.
• 전체 문장의 문맥에서 복잡한 단어와의 유사도를 기반으로 후보어 단어를 선택한다.
• 이 방법은 완전히 비지도 방식으로 작동하며, 미세조정이나 외부 지식 없이 사전에 학습된 BERT 표현에만 의존한다.
• 언어학적 데이터베이스나 병렬 어휘 자료에 의존하지 않으며, 오직 문맥 기반 단어 표현에 집중한다.

실험 결과

연구 질문

• RQ1 언어학적 데이터베이스나 병렬 어휘 자료 없이도 BERT 기반 접근법이 어휘 단순화에서 최고 성능을 달성할 수 있는가?
• RQ2 BERT가 제공하는 문맥 인식 표현은 복잡한 단어만 고려하는 방법과 비교해 후보어 선택을 얼마나 향상시키는가?
• RQ3 사전에 학습된 언어 모델을 활용한 비지도 방법이 어휘 단순화에서 지도 학습 또는 자원 의존적 접근법보다 얼마나 뛰어나게 성능을 높일 수 있는가?

주요 결과

• 제안된 BERT 기반 방법은 널리 사용되는 세 가지 어휘 단순화 벤치마크에서 최고 성능 기준보다 11점 이상 높은 정확도 향상을 달성한다.
• 비록 완전히 비지도 방식이지만, 언어학적 데이터베이스나 병렬 어휘 자료에 의존하는 기준보다도 성능이 뛰어나다.
• BERT에서 유도된 문맥 기반 임베딩의 사용은 더 정확하고 문맥에 적합한 단어 치환어를 가능하게 한다.
• 이 방법은 사전에 학습된 언어 모델이 미세조정 없이도 외부 자원 없이도 어휘 단순화에 강력한 독립 도구로 활용될 수 있음을 보여준다.