[論文レビュー] NorDiaChange: Diachronic Semantic Change Dataset for Norwegian

Andrey Kutuzov, Samia Touileb+3 more|arXiv (Cornell University)|Jan 13, 2022

Natural Language Processing Techniques被引用数 6

ひとこと要約

NorDiaChangeは、ノルウェー語における最初の歴史的意味変化データセットであり、DURelフレームワークと歴史的コーパス（NBdigitalとNAK）を用いて、時間の経過に伴い意味が段階的に変化する約80語の名詞の2つの手動アノテーション済みサブセットを含む。これは意味変化検出システムの教師あり学習と評価を可能にし、パラダイム的なライセンスで完全に公開されており、生のアノテーションと推定された歴史的語用グラフ（DWUG）を含む。

ABSTRACT

We describe NorDiaChange: the first diachronic semantic change dataset for Norwegian. NorDiaChange comprises two novel subsets, covering about 80 Norwegian nouns manually annotated with graded semantic change over time. Both datasets follow the same annotation procedure and can be used interchangeably as train and test splits for each other. NorDiaChange covers the time periods related to pre- and post-war events, oil and gas discovery in Norway, and technological developments. The annotation was done using the DURel framework and two large historical Norwegian corpora. NorDiaChange is published in full under a permissive licence, complete with raw annotation data and inferred diachronic word usage graphs (DWUGs).

研究の動機と目的

• 自然言語処理研究におけるノルウェー語の高品質で標準化された歴史的意味変化データセットの不足を解消すること。
• ノルウェー語の教師あり意味変化検出システムの開発と評価を支援すること。
• DURelフレームワークを用いて、既存の多言語データセット（例：英語、ドイツ語、スウェーデン語）と互換性を持つリソースを提供すること。
• ノルウェー語における文脈を考慮した埋め込みと意味変化検出モデルのファインチューニングを可能にすること。
• 歴史言語学的支援として、ノルウェー語のアノテーション済みで時系列構造を持つ語彙的変化データを提供すること。

提案手法

• DURelフレームワークを用いた文のペアにおける語の用法間の意味的類似度の手動アノテーション。このフレームワークは意味的関連性を段階的スケールで扱う。
• 主な歴史的出来事（例：石油発見、戦後復興、技術的変化）と関連する予想される意味的シフトを有する語の選定。
• 2つの大規模な歴史的ノルウェー語コーパス（NBdigital：26,000通以上のパブリックドメインテキスト、およびノルウェー新聞コーパスNAK）を用いた文のサンプリング。
• 同一のアノテーション手順を用いて、独立した2つのデータセット（サブセット1：1929–1965 対 1970–2013、サブセット2：1980–1990 対 2012–2019）の作成。
• 標準的なDWUGスコアリング手順を用いて、アノテーション判断から段階的および2値の意味変化スコアを計算。
• 生のアノテーションデータ、推定された歴史的語用グラフ（DWUG）、および完全なメタデータをパラダイム的なライセンスで公開。

実験結果

リサーチクエスチョン

• RQ1 DURelフレームワークを用いて、ノルウェー語の標準的で高品質な歴史的意味変化データセットをどのように構築できるか。
• RQ2 ノルウェー語の名詞における意味的変化は、石油発見や技術的シフトといった主な歴史的出来事とどの程度一致するか。
• RQ3 2つの独立してアノテートされたノルウェー語データセットを、意味変化検出モデルの訓練とテストに相互に代用可能か。
• RQ4 段階的な意味的類似度判断は、ノルウェー語における時間的経過に伴う微細な意味的シフトをどの程度的確に捉えられるか。
• RQ5 アノテーションおよびスコアリング手順の観点から、既存の多言語意味変化データセットと比べて、NorDiaChangeはどの程度互換性を持つか。

主な発見

• NorDiaChangeは、2つの異なる時間的期間をカバーし、一貫したメソドロジーを用いる、ノルウェー語における最初の公開済みで完全にアノテートされた歴史的意味変化データセットである。
• サブセット1およびサブセット2は完全に互換性があり、モデルの評価のための訓練用およびテスト用データセットとして相互に交換可能である。
• DURelベースのアノテーションから導出された段階的意味変化スコアと2値の変化インジケータを有する、80語の手動アノテート済みノルウェー語名詞が含まれる。
• 生のアノテーションデータと推定された歴史的語用グラフ（DWUG）は、パラダイム的なライセンスで公開されており、再現性と多様なNLPワークフローへの統合を可能にする。
• このデータセットは、文脈を考慮した埋め込みと意味変化検出モデルのファインチューニングを可能にし、SemEval-2020の共通タスクで成功した手法を基盤としている。
• アノテーションプロセスは、戦後復興、石油経済の発展、技術的近代化といった歴史的出来事と関連する意味的シフトを的確に捉えた。