[論文レビュー] Fixing the Infix: Unsupervised Discovery of Root-and-Pattern Morphology

Tarek Sakakini, Suma Bhat+1 more|arXiv (Cornell University)|Feb 7, 2017

Natural Language Processing Techniques参考文献 9被引用数 3

ひとこと要約

本稿では、分散表現を用いて文脈に依存しない形態素規則の学習を支援することで、アラビア語などの Semitic 語に特有の語根・パターン形態素を発見する、非教師ありで言語に依存しない手法を提案する。語彙的パターンと語彙埋め込みからの意味的類似性を組み合わせることで、ISRI のような最先端の規則ベースのシステムと同等の性能を達成し、非結合的規則を除外した場合に11.5%の相対的誤差低下を示しており、語根・パターン形態素が正確な語根抽出において極めて重要な役割を果たしていることを示している。

ABSTRACT

We present an unsupervised and language-agnostic method for learning root-and-pattern morphology in Semitic languages. This form of morphology, abundant in Semitic languages, has not been handled in prior unsupervised approaches. We harness the syntactico-semantic information in distributed word representations to solve the long standing problem of root-and-pattern discovery in Semitic languages. Moreover, we construct an unsupervised root extractor based on the learned rules. We prove the validity of learned rules across Arabic, Hebrew, and Amharic, alongside showing that our root extractor compares favorably with a widely used, carefully engineered root extractor: ISRI.

研究の動機と目的

• Semitic 語における語根・パターン形態素を発見する非教師ありで言語に依存しない手法の不足を補うこと。
• 熟練した言語学者の知識やアノテート済みデータを必要とする既存の規則ベースおよび教師ありシステムの限界を克服すること。
• 分散語彙表現から得られる構文的および意味的情報を形態素規則学習に統合し、一般化性能を向上させること。
• ISRI や他の高度に最適化された言語特化型システムに匹敵する性能を示す非教師あり語根抽出器（JZR）を開発すること。
• アラビア語、Hebrew、アムハラ語の母語話者による評価を通じて、発見された形態素規則の妥当性を検証すること。

提案手法

• 本手法は2つの語彙的モデルを用いる：1つは接頭語・接尾語の挿入・削除による結合的形態素（concatenative morphology）を扱うもの、もう1つは子音語根と母音パターンテンプレートを用いる語根・パターン形態素（root-and-pattern morphology）を扱うものである。
• 意味的モデルとして語彙埋め込みを用い、語のペア間の差分ベクトルのコサイン類似度を用いて意味的妥当性を評価することで、形態的関係の妥当性を検証する。
• ルールのスコアリングには、語彙的サポート、意味的類似度、およびサポート集合（SSr）内の語のペア間の一貫性を組み合わせ、調整可能な閾値を用いてフィルタリングを行う。
• 語根抽出器 JZR は、語根抽出を反復的最適化問題として定式化し、意味的スコアを最大化するとともに語彙的および意味的閾値を満たす最良の形態素規則（r*）を選択する。
• 収束を保証し、非結合的プロセスに対応するため、R_add（語尾や語尾を追加する規則）と R_rep（語尾を置換する規則）を交互に適用する。
• 反復的に語の長さを、最も適合する規則を適用することで短縮し、三文字語根に到達するまで繰り返す。有効な短縮が得られない場合は、置換規則にフォールバックする。

実験結果

リサーチクエスチョン

• RQ1 分散語彙表現を用いた非教師あり学習が、言語的前提知識なしに Semitic 語における語根・パターン形態素を効果的に発見できるか。
• RQ2 語彙埋め込みからの意味的情報統合が、純粋に語彙的アプローチと比較して、形態素規則発見の精度をどの程度向上させるか。
• RQ3 語根・パターン規則が、結合的形態素のみに依存する場合と比較して、非教師あり語根抽出器の性能にどの程度貢献しているか。
• RQ4 提案手法が、アラビア語語根抽出において ISRI のような規則ベースの言語特化型システムと同等の性能を達成できるか。
• RQ5 発見された形態素構造は、アムハラ語のような低リソース言語を含む、Semitic 語の間で一般化可能か。

主な発見

• 母語話者による評価で、アラビア語、ヘブライ語、アムハラ語の語根・パターン規則上位30件が100%の正答率を確認され、本手法の言語に依存しない正確性が裏付けられた。
• 1200語のアラビア語語彙サンプルにおいて、JZR は語根抽出精度として 51.88% を達成し、語根・パターン規則を除外した限定版 JZR モデル（45.63%）を上回った。
• 非結合的規則を除外した場合の11.5%の相対的誤差低下は、語根・パターン形態素が全体の精度向上に顕著な貢献をしていることを示している。
• JZR の性能は、同じテストセットで 61.63% の精度を達成した広く使われている、高度に最適化された言語特化型語根抽出器 ISRI と比較して競争力がある。
• 本手法は、語彙数が10,000語に制限された低リソース言語アムハラ語に対しても堅牢であり、低リソース環境へのスケーラビリティを示した。
• 本研究では、語根・パターン規則の実効的影響を11.5%の低下として推定しているが、ISRI 自身がこうしたパターンに強く依存していることから、JZR が核心的な言語的要因を効果的に捉えている可能性が示唆される。