[논문 리뷰] A Benchmark and Scoring Algorithm for Enriching Arabic Synonyms

Sana Ghanem, Mustafa Jarrar외 2명|arXiv (Cornell University)|2023. 02. 04.

Natural Language Processing Techniques인용 수 6

한 줄 요약

이 논문은 네 명의 언어학자가 3,000개의 후보 동의어에 대해 흐린 동의어성 점수를 부여한 기준 데이터셋을 소개하고, 아랍어 동의어집을 풍부화하기 위해 그래프 기반 알고리즘을 제안한다. 이 알고리즘은 흐린 유사도 점수를 계산한다. 알고리즘은 마스킹된 동의어를 검색하는 데 높은 정확도를 보이며, 최대 99.1%의 정확도(레벨 3 기준)를 달성하고 인간 평가 결과와 매우 유사한 흐린 점수를 생성한다 (RMSE: 0.32, MAE: 0.27).

ABSTRACT

This paper addresses the task of extending a given synset with additional synonyms taking into account synonymy strength as a fuzzy value. Given a mono/multilingual synset and a threshold (a fuzzy value [0-1]), our goal is to extract new synonyms above this threshold from existing lexicons. We present twofold contributions: an algorithm and a benchmark dataset. The dataset consists of 3K candidate synonyms for 500 synsets. Each candidate synonym is annotated with a fuzzy value by four linguists. The dataset is important for (i) understanding how much linguists (dis/)agree on synonymy, in addition to (ii) using the dataset as a baseline to evaluate our algorithm. Our proposed algorithm extracts synonyms from existing lexicons and computes a fuzzy value for each candidate. Our evaluations show that the algorithm behaves like a linguist and its fuzzy values are close to those proposed by linguists (using RMSE and MAE). The dataset and a demo page are publicly available at https://portal.sina.birzeit.edu/synonyms.

연구 동기 및 목표

• 아랍어와 같이 자원이 적은 언어에서 동의어성에 대한 표준화된 평가 기준이 부족한 문제를 해결하기 위해.
• 동의어성을 이진 등가관계가 아닌 흐린 관계로 모델링하여 언어적 뉘앙스와 인간 간의 이견을 반영하기 위해.
• 기존 어휘자료에서 그래프 연결성과 흐린 논리 기반으로 자동으로 새로운 동의어를 추출하고 점수를 매기는 알고리즘을 개발하기 위해.
• 알고리즘의 성능을 인간이 평가한 흐린 점수와 비교하여 그 언어학적 타당성을 평가하기 위해.
• 향후 아랍어 어휘자원 확장 연구를 위해 공개된 데이터셋과 데모를 제공하기 위해.

제안 방법

• 500개의 동의어집과 3,000개의 후보 동의어를 포함한 기준 데이터셋을 구축하였으며, 각 후보 동의어는 네 명의 언어학자가 0에서 1 사이의 흐린 동의어성 점수로 평가하였다.
• 아랍 워드넷에서 유도된 방향 그래프를 구축하였으며, 노드는 단어를 나타내고, 간선은 레벨 k=3 및 k=4에서의 동의어/번역 관계를 나타낸다.
• 사이클 경로를 식별하여 잠재적 후보 동의어를 탐지하였으며, 사이클은 상호 동의어 관계를 나타내기 때문이다.
• 인간 평가 데이터셋에 기반한 학습된 흐린 모델을 사용하여, 후보 동의어의 그래프 내 연결성에 따라 흐린 점수를 할당하였다.
• RMSE와 MAE를 사용하여 알고리즘 성능을 평가하기 위해 인간 점수의 평균을 기준선으로 사용하였다.
• 마스킹 실험을 통해 알고리즘 성능을 평가하였으며, 동의어집에서 단어를 제거하고 알고리즘이 해당 단어를 가장 높은 흐린 점수로 복원하는지 확인하였다.

Figure 1: Example of scoring candidate synonyms.

실험 결과

연구 질문

• RQ1 아랍어에서 언어학자들은 동의어성에 대해 얼마나 이견을 보이며, 그들의 흐린 유사도 평가 범위는 무엇인가?
• RQ2 아랍어 동의어집을 풍부화할 때, 알고리즘이 인간과 유사한 흐린 동의어성 점수를 모방할 수 있는가?
• RQ3 그래프 기반 동의어 탐지 방법은 아랍 워드넷에서 마스킹된 동의어를 얼마나 효과적으로 복원하는가?
• RQ4 어휘자료 내 단어의 빈도가 알고리즘이 이를 동의어로 복원하는 능력에 어떤 영향을 미치는가?
• RQ5 알고리즘의 흐린 점수는 인간 평가 점수와 얼마나 상관이 있는가?

주요 결과

• 언어학자들은 동의어성에 대해 중간 정도의 이견을 보이며, 전체 데이터셋에서 RMSE는 0.16에서 0.22 사이, MAE는 0.12에서 0.16 사이의 범위를 가진다.
• 제안된 알고리즘은 인간 평가 점수의 평균과 비교할 때 루트 평균 제곱 오차(RMSE)가 0.32이고, 평균 절대 오차(MAE)가 0.27이다.
• 마스킹 실험에서 높은 빈도의 단어에 대해 레벨 3 기준으로 99.1%의 정확도로 상위 순위로 복원되었고, 레벨 4 기준으로는 95.2%였다.
• 저빈도 단어의 경우 정확도가 감소하였으며(레벨 3 기준 88.4%, 레벨 4 기준 62.0%), 이는 그래프 내 연결성이 성능에 핵심 요소임을 시사한다.
• 평균 빈도 단어에 대해서는 높은 정확도를 유지하였으며(레벨 3 기준 98.7%, 레벨 4 기준 92.0%) 랜덤 빈도 단어에 대해서도 각각 98.1%(레벨 3)와 89.3%(레벨 4)의 정확도를 기록하였다.
• 알고리즘의 성능은 아랍 워드넷과 같은 기초 어휘자원의 구조에 크게 의존하며, 자원 구성 방식에 따라 성능이 달라질 수 있다.

Figure 2: The cyclic paths for the { \< رَكِبَ> , ride} synset from AWN