[論文レビュー] A Benchmark and Scoring Algorithm for Enriching Arabic Synonyms

Sana Ghanem, Mustafa Jarrar+2 more|arXiv (Cornell University)|Feb 4, 2023

Natural Language Processing Techniques被引用数 6

ひとこと要約

本稿では、4名の言語学者が曖昧な類義語スコアを付与した3,000件の候補類義語から構成されるベンチマークデータセットを紹介し、グラフベースのアルゴリズムを提案する。このアルゴリズムは、アラビア語の類義語集合（synsets）を拡張するための曖昧類義語スコアを計算する。アルゴリズムは、マスクされた類義語を検出する際、最高で99.1％の高い正確性（レベル3）を達成し、人間の判断と非常に近い曖昧スコアを生成する（RMSE: 0.32、MAE: 0.27）。

ABSTRACT

This paper addresses the task of extending a given synset with additional synonyms taking into account synonymy strength as a fuzzy value. Given a mono/multilingual synset and a threshold (a fuzzy value [0-1]), our goal is to extract new synonyms above this threshold from existing lexicons. We present twofold contributions: an algorithm and a benchmark dataset. The dataset consists of 3K candidate synonyms for 500 synsets. Each candidate synonym is annotated with a fuzzy value by four linguists. The dataset is important for (i) understanding how much linguists (dis/)agree on synonymy, in addition to (ii) using the dataset as a baseline to evaluate our algorithm. Our proposed algorithm extracts synonyms from existing lexicons and computes a fuzzy value for each candidate. Our evaluations show that the algorithm behaves like a linguist and its fuzzy values are close to those proposed by linguists (using RMSE and MAE). The dataset and a demo page are publicly available at https://portal.sina.birzeit.edu/synonyms.

研究の動機と目的

• アラビア語のような低リソース言語における類義語の標準化された評価ベンチマークの欠如に対処すること。
• 言語的ニュアンスと人間の合意のなさを反映するため、類義語関係を二値的同等関係ではなく曖昧関係としてモデル化すること。
• グラフの接続性と曖昧論理を用いて、既存の語彙資源から自動的に新しい類義語を抽出・スコアリングするアルゴリズムの開発。
• 人間がアノテートした曖昧スコアと比較して、アルゴリズムの性能を評価し、その言語的妥当性を検証すること。
• 将来的なアラビア語語彙資源拡張研究のため、公開可能なデータセットとデモを提供すること。

提案手法

• 4名の言語学者がそれぞれ0〜1の曖昧類義語スコアを付与した、500の類義語集合と3,000件の候補類義語から構成されるベンチマークデータセットを構築。
• アラビア語ワードネットから有向グラフを構築し、ノードを語彙単位、エッジをレベルk=3およびk=4における類義語/翻訳関係として定義。
• 循環パス（サイクル）を同定して、類義語候補を検出。サイクルは相互類義語関係を示す。
• 人間がアノテートしたデータセットで学習された曖昧モデルを用い、グラフ内での接続性に基づいて候補に曖昧スコアを割り当てる。
• RMSEとMAEを用いてアルゴリズムの性能を評価するためのベースラインとして、人間スコアの平均値を用いる。
• マスキング実験を通じてアルゴリズムを評価：類義語集合から語を削除し、アルゴリズムがその語を最高の曖昧スコアで再検出できるかを確認。

Figure 1: Example of scoring candidate synonyms.

実験結果

リサーチクエスチョン

• RQ1 アラビア語における類義語の判断について、言語学者はどの程度合意がなく、その曖昧類義語判断の範囲はどのようになっているか？
• RQ2 アラビア語の類義語集合を拡張する際、アルゴリズムは人間と類似した曖昧類義語スコアリングを再現できるか？
• RQ3 グラフベースの類義語発見手法は、アラビア語ワードネットからマスクされた類義語をどの程度効果的に検出できるか？
• RQ4 語彙資源内での語の出現頻度は、アルゴリズムがその語を類義語として検出できる能力にどの程度影響を与えるか？
• RQ5 アルゴリズムの曖昧スコアリングは、人間がアノテートしたスコアとどの程度相関しているか？

主な発見

• 言語学者は類義語の判断において中程度の不一致を示しており、データセット全体でRMSEは0.16〜0.22、MAEは0.12〜0.16の範囲にとどまる。
• 提案されたアルゴリズムは、人間のアノテーション平均値と比較して、平均二乗誤差（RMSE）が0.32、平均絶対誤差（MAE）が0.27を達成した。
• マスキング実験において、高頻度語の99.1％がレベル3で上位ランクに検出され、レベル4では95.2％が上位ランクに検出された。
• 低頻度語では精度が低下（レベル3で88.4％、レベル4で62.0％）し、グラフ内の接続性が性能の鍵要因であることが示された。
• 平均頻度語では98.7％（レベル3）、92.0％（レベル4）の高い正確性を維持し、ランダム頻度語では98.1％（レベル3）、89.3％（レベル4）の正確性を示した。
• アルゴリズムの性能は、アラビア語ワードネットのような下位の語彙資源の構造に強く依存しており、異なるリソース構成では性能が変動する可能性がある。

Figure 2: The cyclic paths for the { \< رَكِبَ> , ride} synset from AWN