[논문 리뷰] LSBert: A Simple Framework for Lexical Simplification

Jipeng Qiang, Yun Li외 3명|arXiv (Cornell University)|2020. 06. 25.

Text Readability and Simplification참고 문헌 31인용 수 14

한 줄 요약

LSBert는 문맥을 고려한 표현을 활용하여 어려운 단어를 식별하고, 문맥에 맞는 의미가 동일한 간소화된 표현을 생성하는 BERT 기반 프레임워크이다. BERT의 예측 순서, 언어 모델링, PPDB 등을 포함한 다섯 가지 고품질 특징을 통합함으로써, 세 가지 벤치마크에서 이전 최고 성능 기준보다 정확도 29.8점 향상하여 최신 기준을 달성한다.

ABSTRACT

Lexical simplification (LS) aims to replace complex words in a given sentence with their simpler alternatives of equivalent meaning, to simplify the sentence. Recently unsupervised lexical simplification approaches only rely on the complex word itself regardless of the given sentence to generate candidate substitutions, which will inevitably produce a large number of spurious candidates. In this paper, we propose a lexical simplification framework LSBert based on pretrained representation model Bert, that is capable of (1) making use of the wider context when both detecting the words in need of simplification and generating substitue candidates, and (2) taking five high-quality features into account for ranking candidates, including Bert prediction order, Bert-based language model, and the paraphrase database PPDB, in addition to the word frequency and word similarity commonly used in other LS methods. We show that our system outputs lexical simplifications that are grammatically correct and semantically appropriate, and obtains obvious improvement compared with these baselines, outperforming the state-of-the-art by 29.8 Accuracy points on three well-known benchmarks.

연구 동기 및 목표

• 기존의 비지도 어휘 간소화 방법이 문장의 맥락을 고려하지 않고 고립된 상태에서 대체 후보를 생성하는 데에 한계가 있다는 문제를 해결하기 위해.
• 어려운 단어 식별, 대체어 생성, 랭킹의 세 단계 모두에 맥락을 통합함으로써 간소화된 문장의 문법적 정확성과 의미 동일성을 향상시키기 위해.
• 수동으로 제작된 언어학적 데이터베이스나 병렬 코퍼스에 의존하지 않는 단순한 종단 간 엔드 프레임워크를 개발하기 위해.
• 다국어 텍스트와 사전 훈련된 BERT 표현만을 사용하여 표준 어휘 간소화 벤치마크에서 최신 기준 성능을 달성하기 위해.
• 대규모 원시 텍스트에 대해 사전 훈련된 BERT의 특성을 활용하여 다양한 언어에 널리 적용 가능한 프레임워크를 제공하기 위해.

제안 방법

• 문맥 내에서 복잡한 단어를 식별하기 위해 BiLSTM 기반의 시퀀스 레이블링 모델을 사용하여 고립된 단어 분석보다 더 나은 맥락 인식 식별 성능을 확보한다.
• 복잡한 단어를 [MASK] 토큰으로 대체하고, BERT의 마스크된 언어 모델링을 적용하여 가장 가능성이 높은 어휘 단어들을 후보 대체어로 예측한다.
• 마스크 토큰에 대한 BERT의 어휘 분포 확률을 기반으로 후보 대체어를 생성함으로써 맥락에 민감한 선택을 보장한다.
• 다섯 가지 특징을 사용하여 후보 대체어를 랭킹한다: BERT의 예측 순서, BERT 기반 언어 모델 점수, PPDB 기반의 대체어 유사도, 단어 빈도, 어휘 유사도.
• 한 번에 한 단어씩 간소화를 반복 적용함으로써 문장의 통일성과 문법적 정확성을 유지한다.
• 라벨이 부여된 데이터에 대한 미세조정 없이 사전 훈련된 BERT를 활용하며, 대규모 단일 언어 텍스트에 대한 사전 훈련에서 기인한 모델의 맥락 이해 능력에 의존한다.

실험 결과

연구 질문

• RQ1 BERT와 같은 사전 훈련된 언어 모델이 후보 생성 및 랭킹 단계에서 맥락을 포착함으로써 어휘 간소화 성능을 향상시킬 수 있는가?
• RQ2 단어 빈도와 유사도 외에도 고품질 특징을 통합함으로써 더 정확하고 맥락에 부합하는 간소화 결과를 도출할 수 있는가?
• RQ3 병렬 코퍼스나 언어학적 데이터베이스가 필요 없이도, BERT 기반의 완전히 비지도 종단 간 엔드 프레임워크가 기존의 규칙 기반 및 임베딩 기반 방법을 능가할 수 있는가?
• RQ4 맥락 기반 후보 생성 방식은 맥락 무시 기반 접근법에 비해 간소화된 문장의 문법적 정확성과 의미 동일성에 어떤 영향을 미치는가?
• RQ5 제안된 프레임워크는 다양한 어휘 간소화 벤치마크와 실제 텍스트에 대해 얼마나 잘 일반화되는가?

주요 결과

• LSBert는 세 가지 잘 알려진 어휘 간소화 벤치마크에서 이전 최고 성능 기준보다 정확도 29.8점 향상하여 성과를 달성한다.
• WikiLarge 데이터셋에서의 정성적 분석을 통해, 프레임워크는 원본 문장과 의미적으로 동일하고 문법적으로도 정확한 간소화 결과를 생성한다.
• Glavaš 및 REC-LS와 같은 베이스라인에 비해 맥락에 부합하는 대체어를 더 잘 생성하여 부적절하거나 의미가 왜곡된 출력을 피한다.
• BERT의 예측 순서와 언어 모델 점수 통합이 후보 랭킹 품질을 크게 향상시켜 잘못되거나 타당하지 않은 간소화 결과를 줄인다.
• 수동으로 제작된 언어학적 데이터베이스나 병렬 코퍼스에 의존하지 않으며, 다양한 문장 유형과 어려운 단어 유형(동사, 명사, 형용사 포함)에 대해 강건한 성능을 보인다.
• 반복적으로 적용되더라도 문장의 유기성과 통일성을 유지하며, 다중 단계 간소화 과정 전반에 걸쳐 효과적인 성능을 보인다.