[논문 리뷰] BigGreen at SemEval-2021 Task 1: Lexical Complexity Prediction with Assembly Models

Aadil Islam, Weicheng Ma외 1명|arXiv (Cornell University)|2021. 04. 19.

Text Readability and Simplification참고 문헌 38인용 수 3

한 줄 요약

이 논문은 SemEval-2021 Task 1에 참가한 BigGreen의 제출물로, 어휘 복잡도 예측을 위한 앙상블 모델을 제안한다. 이 모델은 수작업으로 구성한 언어적 특징과 BERT 기반 딥러닝을 융합한다. 시스템은 어휘적, 의미적, 문법적, 음운적 측정 기준의 특징 공학을 적용하고, XGBoost와 MT-DNN를 결합하여 강력한 성능을 달성한다. 특히 극단적인 복잡도 사례에서 뛰어난 성능을 보이며, 구성어 수준의 예측을 활용해 다어절 어휘 표현에 대한 성능을 향상시켰다.

ABSTRACT

This paper describes a system submitted by team BigGreen to LCP 2021 for predicting the lexical complexity of English words in a given context. We assemble a feature engineering-based model with a deep neural network model founded on BERT. While BERT itself performs competitively, our feature engineering-based model helps in extreme cases, eg. separating instances of easy and neutral difficulty. Our handcrafted features comprise a breadth of lexical, semantic, syntactic, and novel phonological measures. Visualizations of BERT attention maps offer insight into potential features that Transformers models may learn when fine-tuned for lexical complexity prediction. Our ensembled predictions score reasonably well for the single word subtask, and we demonstrate how they can be harnessed to perform well on the multi word expression subtask too.

연구 동기 및 목표

• 수집된 언어적 특징과 딥 네트워크를 융합하여 어휘 복잡도 예측 성능을 향상시키기 위해 노력한다.
• 이진 분류의 한계를 극복하기 위해 복잡도를 연속 척도로 모델링한다.
• 어휘 복잡도가 극단적인 경우(예: 매우 쉬운 또는 매우 어려운 단어)의 성능 향상을 위해 특징 공학을 통해 성능을 향상시킨다.
• 구성어 수준의 예측을 통해 단일어 모델을 다어절 표현 예측에 적응시킨다.
• BERT 주의 메커니즘을 분석하여 복잡도 예측을 위해 모델이 학습하는 언어 패턴을 이해한다.

제안 방법

• 시스템은 하이브리드 접근 방식을 사용한다: 110개의 수작업 특징을 포함한 특징 공학 기반 회귀 모델로, 어휘 빈도, 의미 임베딩(GloVe, ELMo), 그리고 새로운 음운적 측정 기준이 포함된다.
• 시퀀스 수준의 복잡도 회귀를 위해 미세조정된 BERT 기반 MT-DNN 모델을 사용하며, 주의 맵을 추출하여 주의 패턴을 분석한다.
• XGBoost를 사용하여 특징 기반 회귀 모델을 훈련하고, 그리드 서치를 통해 하이퍼파라미터를 최적화한다.
• 앙상블 예측은 XGBoost와 MT-DNN 출력을 결합하여 생성되며, 이로 인해 안정성과 성능이 향상된다.
• 다어절 표현의 경우, 머리어와 꼬리어에 대해 단일어 모델을 별도로 적용한 후, MT-DNN 출력과 함께 앙상블하여 성능을 향상시킨다.
• 어휘 빈도와 평균 주의 간의 상관관계를 계산하여 BERT의 주의 헤드가 특정 주의 패턴을 전문화하고 있는지 확인한다.

실험 결과

연구 질문

• RQ1 사전 학습된 임베딩을 초월하여 수작업 특징이 어휘 복잡도 예측에 기여하는 방식은 무엇인가?
• RQ2 BERT 주의 헤드가 희귀어나 빈도가 높은 단어에 특별히 주의를 기울이는 정도는 어느 정도이며, 이는 복잡도 예측과 어떻게 관련되는가?
• RQ3 구성어 분석을 통해 단일어 모델의 예측을 다어절 표현 예측으로 효과적으로 전이시킬 수 있는가?
• RQ4 특징 기반 모델과 딥 네트워크 간의 앙상블 학습이 연속 복잡도 회귀에서 성능 향상에 기여하는 방식은 무엇인가?
• RQ5 어휘 빈도는 인간의 인지와 모델 주의에 어떤 역할을 하는가? 그리고 주의 패턴에 어떻게 반영되는가?

주요 결과

• XGBoost와 MT-DNN의 앙상블은 단일어 하위작업에서 피어슨 상관계수 0.744를 기록하여 참가자들의 상위 15% 이내에 진입했다.
• XGBoost 모델에서 어휘 빈도 기반 특징이 가장 중요한 것으로 확인되어, 복잡도 추정에서의 주도적 역할을 하였다.
• 여러 개의 BERT 주의 헤드에서 어휘 빈도와 주의 분포 간에 유의미한 상관관계가 나타나, 희귀어 또는 공통어 처리에 특화된 주의 패턴이 존재하는 것으로 나타났다.
• 구성어에 대한 단일어 모델 예측을 활용함으로써, 다어절 표현 하위작업에서 원래 제출 성능을 초월하는 결과를 도출했다.
• 주의 맵의 시각화 결과, 수직 스트라이프와 같은 구조적 패턴이 확인되어, 주의가 어휘 빈도에 따라 토큰의 스펙트럼에 걸쳐 분포하고 있음을 시사했다.
• 어휘 빈도가 인간 평가자와 학습된 모델 모두에서 어휘 복잡도 예측의 핵심 신호로 유지됨을 확인하였다.