[論文レビュー] Challenge Dataset of Cognates and False Friend Pairs from Indian Languages

Diptesh Kanojia, Pushpak Bhattacharyya+2 more|arXiv (Cornell University)|Dec 17, 2021

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿は、歴史的同源語辞書のデジタル化と連結されたインド語彙ネットを活用することで、12種のインド諸言語における真の同源語と誤り友（false friends）の挑戦的でゴールドスタンダードのデータセットを構築した。著者は、辞書学者によるデータの検証を実施し、データを公開した。また、既存の同源語および誤り友検出手法が当該データセットで著しく性能を発揮しないことを示し、低リソースのインド言語環境における機械翻訳、クロスリンガル検索、系統発生解析の分野におけるNLPシステムの向上にその有用性を示した。

ABSTRACT

Cognates are present in multiple variants of the same text across different languages (e.g., "hund" in German and "hound" in English language mean "dog"). They pose a challenge to various Natural Language Processing (NLP) applications such as Machine Translation, Cross-lingual Sense Disambiguation, Computational Phylogenetics, and Information Retrieval. A possible solution to address this challenge is to identify cognates across language pairs. In this paper, we describe the creation of two cognate datasets for twelve Indian languages, namely Sanskrit, Hindi, Assamese, Oriya, Kannada, Gujarati, Tamil, Telugu, Punjabi, Bengali, Marathi, and Malayalam. We digitize the cognate data from an Indian language cognate dictionary and utilize linked Indian language Wordnets to generate cognate sets. Additionally, we use the Wordnet data to create a False Friends' dataset for eleven language pairs. We also evaluate the efficacy of our dataset using previously available baseline cognate detection approaches. We also perform a manual evaluation with the help of lexicographers and release the curated gold-standard dataset with this paper.

研究の動機と目的

• 12種のインド諸言語における同源語および誤り友の高品質かつ手作業で選別されたゴールドスタンダードデータセットを構築し、NLP研究を支援すること。
• 共通の言語的ルーツを持つインド言語ペアにおける同源語および誤り友検出のためのベンチマークデータセットの不足を是正すること。
• 従来のデータセットよりもより複雑で現実世界に近いデータセットを用いて、既存の自動同源語および誤り友検出手法の性能を評価すること。
• NLPモデルのクロスリンガル応用分野における改善されたトレーニングと評価を可能にするために、データセットを公開すること。
• 今後の部分的同源語に関する研究および広範なNLPタスク統合の基盤を築くこと。

提案手法

• 12種のインド諸言語における『Tatsama Shabda Kosha』同源語辞書のデジタル化と、辞書学者による語彙ネットのシンセットIDの手作業によるアノテーション。
• 連結されたインド語彙ネットを活用し、言語ペア間における意味的および表記的整合性に基づいて真の同源語セット（データセットD2）を生成。
• 2名のアノテーターによる言語ペアごとの同源語ペアの手作業による検証を実施し、アノテーター間整合性と一致率を報告。
• 語彙ネットデータから誤り友ペアを抽出し、ヒンディー語をソース言語とし、残りの11種のインド諸言語をターゲット言語とする。
• 従来の研究で用いられた標準的な指標およびハイパーパrameterを用いて、既存の同源語および誤り友検出アプローチを新しいデータセット上で評価。
• 再現可能性および今後の研究を支援するため、すべてのデータセットをGitHubリポジトリを通じて公開。

実験結果

リサーチクエスチョン

• RQ1 既存の自動同源語検出手法は、より複雑なインド言語同源語データセットに適用された場合、どの程度有効に機能するか？
• RQ2 現在の誤り友検出アプローチは、共通の語源を持つインド言語ペアにどの程度一般化可能か？
• RQ3 手作業で選別された同源語および誤り友データセットは、低リソースのインド言語環境におけるNLPモデルのトレーニングおよび評価の信頼できるゴールドスタンダードとして機能できるか？
• RQ4 形態素の複雑さと現実世界の語彙的多様性を保持するデータセットでテストされた場合、既存の手法の性能はどのように変化するか？
• RQ5 言語的直感とクロスリンガル単語埋め込みは、インド諸言語間の誤り友検出にどのような影響を及ぼすか？

主な発見

• 既存の同源語検出手法は、従来のベンチマークとは対照的に、新しいデータセットでは著しく性能を発揮しないことが判明し、本データセットの困難さを示している。
• ?) の手法が大多数の言語ペアで他を上回ったが、全体としての性能は低く、インド諸言語の形態的豊富さを扱う能力の限界を示唆している。
• ヒンディー語-テルグ語ペアでは、別の手法が最良の性能を示し、言語ペアごとの検出可能性の差異が存在することを示している。
• 誤り友検出手法は、スペイン語-ポルトガル語ペアでの性能と比較して劣っているため、より良い言語モデリングまたはクロスリンガル埋め込みの必要性が示唆されている。
• ベースライン手法とゴールドスタンダードアノテーションとの間に低い一致度が観察されたことから、本データセットが挑戦的で価値のあるベンチマークであることが確認された。
• 著者らは、本データセットが従来のデータセットよりも現実的かつ要求の厳しいテストベッドであると結論づけ、インド諸言語向けの堅牢なNLPシステムのトレーニングに適していると述べている。