[논문 리뷰] ALEXSIS-PT: A New Resource for Portuguese Lexical Simplification

Kai North, Marcos Zampieri외 1명|arXiv (Cornell University)|2022. 09. 19.

Text Readability and Simplification인용 수 5

한 줄 요약

이 논문은 뉴스 기사에서 유래한 브라질 포르투갈어를 위한 첫 번째 대규모 다후보 어휘 단순화 데이터셋인 ALEXSIS-PT를 소개한다. 복잡어 387개에 대해 순위가 매겨진 9,605개의 대체어를 포함한다. BERTimbau가 모든 평가 지표에서 mDistilBERT, mBERT, XLM-R를 앞서며 최고 성능을 기록했으며, 형태소 정규화가 성능 향상에 크게 기여해 포르투갈어 단순화 시스템에서의 중요성을 입증한다.

ABSTRACT

Lexical simplification (LS) is the task of automatically replacing complex words for easier ones making texts more accessible to various target populations (e.g. individuals with low literacy, individuals with learning disabilities, second language learners). To train and test models, LS systems usually require corpora that feature complex words in context along with their candidate substitutions. To continue improving the performance of LS systems we introduce ALEXSIS-PT, a novel multi-candidate dataset for Brazilian Portuguese LS containing 9,605 candidate substitutions for 387 complex words. ALEXSIS-PT has been compiled following the ALEXSIS protocol for Spanish opening exciting new avenues for cross-lingual models. ALEXSIS-PT is the first LS multi-candidate dataset that contains Brazilian newspaper articles. We evaluated four models for substitute generation on this dataset, namely mDistilBERT, mBERT, XLM-R, and BERTimbau. BERTimbau achieved the highest performance across all evaluation metrics.

연구 동기 및 목표

• 브라질 포르투갈어 어휘 단순화를 위한 일반 도메인, 고카버리지 다후보 데이터셋의 부족을 보완하기 위해.
• 어린이 책과 같은 도메인 특화 코퍼스가 아닌 실제 뉴스 기사에서 유도된 벤치마크 데이터셋을 제공하여 일반화 능력을 향상시키기 위해.
• 최신 다국어 및 단일 언어 모델을 새로운 대규모 포르투갈어 LS 데이터셋에서 평가하기 위해.
• 형태소 정규화가 포르투갈어 어휘 단순화에서 대체어 생성 성능에 미치는 영향을 조사하기 위해.
• ALEXSIS-PT 및 ALEXSIS-ES 프로토콜을 활용해 향후 다국어 및 교차 언어 어휘 단순화 시스템 개발을 가능하게 하기 위해.

제안 방법

• ALEXSIS-PT는 스페인어용으로 사용된 ALEXSIS 프로토콜을 따르며, 일관성 확보 및 교차 언어 전이 가능성을 확보한다.
• 데이터셋은 브라질 뉴스 기사에서 유래한 복잡어 387개로 구성되며, 각 복잡어에 대해 최대 25개의 순위 매겨진 후보 대체어가 포함된다.
• 5명의 평가자가 복잡어의 문맥 속에서 후보 대체어를 레이블링하였으며, 순위는 간단함과 적절성의 정도를 반영한다.
• mDistilBERT, mBERT, XLM-R, BERTimbau의 4종의 사전 훈련된 트랜스포머 모델을 미세조정하고 대체어 생성 성능을 평가하였다.
• 형태소 정규화는 유니버설 디펜던시 기반 포르투갈어 형태소 정규화기(SpaCy 기반)를 사용해 예측값과 참값 둘 다에 적용하였다.
• 표준 평가 지표인 F1, 정밀도, 재현율, 평균 가중 빈도 순위(AWFR)를 사용하였으며, 데이터셋 및 모델 간 성능을 비교하였다.

실험 결과

연구 질문

• RQ1 ALEXSIS-PT와 같이 새로운 대규모 일반 도메인 데이터셋에서 평가할 경우, 최신 기술 모델의 브라질 포르투갈어 어휘 단순화 성능는 어떻게 되는가?
• RQ2 BERTimbau처럼 단일 언어 브라질 포르투갈어 데이터로 미세조정한 경우, mBERT, XLM-R와 같은 다국어 모델보다 성능이 뛰어나게 되는가?
• RQ3 다양한 형태 변화가 빈번한 포르투갈어의 특성상, 형태소 정규화가 어휘 단순화 모델의 성능 향상에 얼마나 기여하는가?
• RQ4 ALEXSIS-PT에서의 모델 성능은 도메인 및 후보 대체어 수의 차이를 감안할 때 SIMPLEX-PB 3.0에서의 성능와 비교해 어떻게 되는가?
• RQ5 ALEXSIS-PT는 다국어 및 교차 언어 어휘 단순화 시스템의 훈련 및 평가를 위한 실질적인 기준이 될 수 있는가?

주요 결과

• BERTimbau는 형태소 정규화된 테스트 세트에서 F1 스코어 0.185를 기록하며, 모든 지표에서 mDistilBERT, mBERT, XLM-R를 앞서 최고 성능 기록.
• ALEXSIS-PT의 복잡어당 평균 후보 대체어 수(22개)는 SIMPLEX-PB 3.0(5개)보다 유의미하게 높아 모델의 성공 가능성을 높인다.
• 모든 모델이 ALEXSIS-PT에서 SIMPLEX-PB 3.0보다 성능 향상을 보였으며, mDistilBERT는 top-k=1 및 3일 때를 제외하고는 모두 개선됨. 이는 SIMPLEX-PB 3.0의 도메인 불일치 및 낮은 후보 수 때문일 가능성이 높다.
• 형태소 정규화는 모든 모델의 성능 향상에 기여하였으며, BERTimbau는 F1 스코어에서 0.002 향상되어 형태소 정규화가 대체어 선택 정확도를 높인다는 점을 시사한다.
• 형태소 정규화 후 BERTimbau는 평균 가중 빈도 순위(AWFR) 0.185를 기록하며 인간 평가자 기준 대체어 빈도와 가장 밀접하게 일치함.
• 결과적으로, 포르투갈어 어휘 단순화에 있어 포르투갈어 데이터로 단일 언어 미세조정을 수행한 BERTimbau와 같은 모델이 다국어 모델보다 더 높은 성능을 내는 것으로 나타났다.