[論文レビュー] SimRelUz: Similarity and Relatedness scores as a Semantic Evaluation dataset for Uzbek language

Ulugbek Salaev, Elmurod Kuriyozov+1 more|arXiv (Cornell University)|May 12, 2022

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、11名のネイティブ発話者による語の意味的類似性と関連性の両方のスコアを付与した1,418組の語対を含む、低リソース言語であるウイグル語向けの最初の公開可能語義評価データセット「SimRelUz」を紹介する。このデータセットは、多様な語の種類、形態的特徴、頻度（希少語や未知語を含む）および語義的関係をカバーしており、類似性と関連性の間該著者間一致スコアはそれぞれ0.71および0.69を記録し、自然言語処理（NLP）モデルの評価に強い信頼性を示している。

ABSTRACT

Semantic relatedness between words is one of the core concepts in natural language processing, thus making semantic evaluation an important task. In this paper, we present a semantic model evaluation dataset: SimRelUz - a collection of similarity and relatedness scores of word pairs for the low-resource Uzbek language. The dataset consists of more than a thousand pairs of words carefully selected based on their morphological features, occurrence frequency, semantic relation, as well as annotated by eleven native Uzbek speakers from different age groups and gender. We also paid attention to the problem of dealing with rare words and out-of-vocabulary words to thoroughly evaluate the robustness of semantic models.

研究の動機と目的

• 低リソース言語、特に3,000万人以上の話者を有する形態的に豊富なトゥルク語族言語のウイグル語における語義評価データセットの不足を解消すること。
• 希少語や未知語（OOV）を含む、ウイグル語の語対における意味的類似性と関連性のスコアを、信頼性が高く公開可能な形で構築すること。
• 複数ユーザーが利用可能なスケーラブルな語義評価を可能にするオープンソースのウェブベースのアノテーションツールの開発と公開すること。
• 語義モデルの内因的・外因的評価および将来的なウイグル語のWordNetに類似した知識ベースの構築を支援すること。
• 多様な形態的特徴と頻度に基づく語対を含めることで、語義モデルの評価における耐性を高めること。

提案手法

• 11名のネイティブ・ウイグル語話者が、意味的類似性と関連性を0〜10のスケールで評価できるウェブベースのアンケートアプリケーションを開発した。
• 語対は、形態的特徴、語の頻度（高頻度、中頻度、低頻度、希少語、OOV）および事前に定義された語義的関係（例：類義語、対義語、上位語関係）に基づいて慎重に選定された。
• 年齢層や性別にわたる多様なネイティブ話者をアノテーターに含め、広範な言語的カバレッジを確保し、バイアスの低減を図った。
• 最終的なスコアは、1語対あたりの全11名のアノテーター評価の平均値として算出し、信頼性の検証のためのアノテーター間一致度（APIA）を計算した。
• 語義クラスタリングとスコアの一貫性を評価するために、データセットをSim-Relベクトル空間に可視化した。
• ソースコードとデータセットはGitHubに公開されており、自然言語処理コミュニティによる再利用と拡張が可能である。

実験結果

リサーチクエスチョン

• RQ1 意味的類似性と関連性のスコアを含む、信頼性の高いウイグル語用語義評価データセットを、低リソースかつ形態的に豊富な言語としてのウイグル語の特性を踏まえてどのように構築できるか。
• RQ2 人為的アノテーションによる類似性と関連性スコアが、事前に定義された語義的関係とどの程度相関しているか。
• RQ3 アノテーターは未知語（OOV）を一貫して評価できるか。また、希少語や低頻度語に対してはどの程度のパフォーマンスを示すか。
• RQ4 中程度のアノテーター数を用いた低リソース言語環境で、どの程度のアノテーター間一致度が達成できるか。
• RQ5 得られたスコアは、Sim-Relベクトル空間における期待される語義クラスタリングをどの程度適切に反映しているか。

主な発見

• SimRelUzデータセットは、名詞、形容詞、動詞を含む1,418組の語対をカバーしており、多様な形態的特徴と頻度レベル（希少語やOOV語を含む）を有している。
• アノテーター間一致度（APIA）スコアは、意味的類似性で0.71、関連性で0.69を記録し、高い信頼性を示している。
• Sim-Relベクトル空間における可視化結果から、語対が事前に定義された語義的関係に従ってクラスタリングされていることが確認され、関係のない語対と関連のある語対の重複は最小限に抑えられている。
• 意味的に類似しているが関連性がない語対は1組も存在せず、アノテーションの論理的整合性が確認された。
• アノテーターはOOV語を通常の語の項目と同様に一貫して扱い、スコアを付与した。これは、このデータセットがモデル評価に耐性を有することを裏付けている。
• データセットおよびウェブベースのアノテーションツールはGitHubに公開されており、ウイグル語NLP分野における将来的な研究やモデル評価を可能にしている。