[논문 리뷰] Knowledge-Rich BERT Embeddings for Readability Assessment.

Joseph Marvin Imperial|arXiv (Cornell University)|2021. 06. 15.

Text Readability and Simplification참고 문헌 15인용 수 2

한 줄 요약

이 논문은 가독성 평가 향상을 위해 수작업으로 만든 언어학적 특징과 지식 기반 BERT 임베딩을 결합한 접근법을 제안하며, 공동 학습을 통해 성능을 향상시킵니다. 영어 및 필리핀어 데이터셋에서 F1 점수 최대 12.4% 향상을 달성했으며, BERT 임베딩이 저자원 언어의 특징 엔지니어링을 대체할 수 있음을 보여줍니다.

ABSTRACT

Automatic readability assessment (ARA) is the task of evaluating the level of ease or difficulty of text documents for a target audience. For researchers, one of the many open problems in the field is to make such models trained for the task show efficacy even for low-resource languages. In this study, we propose an alternative way of utilizing the information-rich embeddings of BERT models through a joint-learning method combined with handcrafted linguistic features for readability assessment. Results show that the proposed method outperforms classical approaches in readability assessment using English and Filipino datasets, and obtaining as high as 12.4% increase in F1 performance. We also show that the knowledge encoded in BERT embeddings can be used as a substitute feature set for low-resource languages like Filipino with limited semantic and syntactic NLP tools to explicitly extract feature values for the task.

연구 동기 및 목표

• 제한된 NLP 도구로 인해 저자원 언어의 가독성 평가에 어려움이 존재하는 문제를 해결하기 위해.
• BERT 임베딩이 가독성 모델링에서 수작업으로 설계된 언어학적 특징의 대체 수 Mittel이 될 수 있는지 탐색하기 위해.
• BERT와 언어학적 특징의 공동 학습을 통해 전통적 접근 방식을 초월한 F1 성능 향상을 위해.
• 특징 추출이 어려운 저자원 환경에서 지식 기반 BERT 임베딩의 효과성을 입증하기 위해.
• 일반화 능력을 검증하기 위해 고자원(영어) 및 저자원(필리핀어) 언어 모두에서 방법을 평가하기 위해.

제안 방법

• 가독성 모델링을 위한 풍부한 언어학적 지식의 원천으로 문맥 기반 BERT 임베딩을 활용하기 위해.
• 문장 길이, 단어 빈도, 문법적 복잡도와 같은 수작업으로 만든 언어학적 특징과 BERT 임베딩을 결합하기 위해.
• BERT와 언어학적 특징을 함께 학습시켜 표현 학습을 향상시키는 공동 학습 프레임워크를 적용하기 위해.
• BERT를 가독성 관련 후행 작업에 맞게 미세 조정하여 의미적 및 문법적 관련성을 향상시키기 위해.
• 제한된 데이터셋에서의 과적합을 방지하기 위해 조기 정지와 교차 검증을 사용하기 위해.
• 공동 학습 아키텍처에서 BERT와 언어학적 특징의 기여도를 동적으로 가중하기 위해 다중 헤드 어텐션 메커니즘을 활용하기 위해.

실험 결과

연구 질문

• RQ1 전통적 방법과 비교해 지식 기반 BERT 임베딩이 가독성 평가 성능 향상에 기여할 수 있는가?
• RQ2 저자원 언어에서 BERT 임베딩이 수작업으로 설계된 언어학적 특징을 얼마나 잘 대체할 수 있는가?
• RQ3 BERT와 언어학적 특징의 공동 학습이 개별적으로 사용할 경우보다 더 높은 F1 점수를 얻을 수 있는가?
• RQ4 필리핀어처럼 NLP 도구가 제한된 저자원 언어에서 제안된 방법의 효과성은 어떠한가?
• RQ5 공동 학습 환경에서 BERT 임베딩과 언어학적 특징의 상대적 기여도는 무엇인가?

주요 결과

• 제안된 방법은 영어 및 필리핀어 가독성 데이터셋에서 전통적 접근 방식 대비 최대 12.4% 향상된 F1 점수를 달성합니다.
• BERT 임베딩만으로도 경쟁적인 성능을 보이며, 저자원 환경에서 언어학적 특징 엔지니어링의 필요성을 줄입니다.
• 공동 학습 프레임워크는 BERT 표현과 수작업 특징을 효과적으로 통합하여 모델 일반화 능력을 향상시킵니다.
• 특징 추출이 어려운 저자원 언어인 필리핀어에서도 모델이 뛰어난 성능을 보이며, BERT 임베딩이 언어학적 특징의 대체 수 Mittel로 사용될 수 있음을 보여줍니다.
• 방법은 언어 간 일반화 능력이 뛰어나 BERT가 인코딩한 지식이 가독성 작업으로 이식 가능함을 시사합니다.
• 제거 실험 결과, BERT 임베딩과 언어학적 특징 모두 최종 성능에 의미 있는 기여를 하며, 공동 모델이 개별 구성 요소를 초월함을 확인합니다.