[論文レビュー] Statistical Augmentation of a Chinese Machine-Readable Dictionary

Pascale Fung, Dekai Wu|ArXiv.org|Jan 1, 1994

Natural Language Processing Techniques被引用数 3

ひとこと要約

本稿では、大規模コーパスから有効な語彙形（技術的複合語、慣用句、固有名詞、地方語など）を抽出することで、中国語機械可読語彙の統計的拡張手法を提示する。共起パターンと頻度分析を用いることで、語彙のカバー範囲を拡大し、自動中国語トークン化の性能を向上させ、評価では従来欠落していた語彙項目の検出に顕著な向上が得られた。

ABSTRACT

We describe a method of using statistically-collected Chinese character groups from a corpus to augment a Chinese dictionary. The method is particularly useful for extracting domain-specific and regional words not readily available in machine-readable dictionaries. Output was evaluated both using human evaluators and against a previously available dictionary. We also evaluated performance improvement in automatic Chinese tokenization. Results show that our method outputs legitimate words, acronymic constructions, idioms, names and titles, as well as technical compounds, many of which were lacking from the original dictionary.

研究の動機と目的

• 既存の中国語機械可読語彙に限られた分野固有語および地方語のカバー範囲を改善すること。
• 大規模コーパスからの統計的パターンを用いて、自動的に語彙エントリを拡張できるスケーラブルでデータ駆動の手法を開発すること。
• 新たに発見された有効な語彙形を語彙に追加することで、自動中国語トークン化の性能を向上させること。

提案手法

• 本手法は、大規模な中国語コーパスから頻度および共起分析を用いて、統計的に有意な文字群（n-gram）を同定する。
• 意味のある語的単位とランダムな文字列を区別するため、統計的しきい値手法を適用する。
• 既知の語区切り位置や語彙的制約を含む、言語的妥当性に基づいて候補語彙形をフィルタリングする。
• システムはコーパスから技術的複合語、慣用句、頭字語、固有名詞、称号などの新しいエントリを抽出・検証する。
• 結果は参照語彙と照合され、語彙的妥当性について人間のアノテーターによる評価を受ける。
• 拡張された語彙はトークン化パイプラインに統合され、性能向上の測定が行われる。

実験結果

リサーチクエスチョン

• RQ1 コーパスから導出された統計的特徴を持つ文字群は、既存の語彙に存在しない中国語語彙的単位を信頼性高く同定できるか？
• RQ2 統計的拡張手法は、中国語語彙における分野固有語および地方語のカバー範囲をどの程度向上させるか？
• RQ3 新たに発見された語彙的単位の組み込みが、自動中国語トークン化の正確性にどのように影響するか？
• RQ4 本手法により、特に効果的に回復される語彙的形態（例：複合語、慣用句、名前）は何か？
• RQ5 人間の評価者たちは、新たに抽出された語彙形の質と正当性をどの程度評価するか？

主な発見

• 本手法は、元の語彙に存在しなかった技術的複合語、慣用句、固有名詞、称号、地方語など、多数の正当な語彙的単位を効果的に抽出した。
• 人間による評価では、母語話者によって大多数の新規抽出エントリが有効で意味のあるものと判断された。
• 拡張された語彙は自動中国語トークン化の性能を向上させ、分野固有語およびレア語彙の分割誤りを低減した。
• システムは、技術的および地方語使用において、従来未知であった多数の複合名詞および頭字語的構造を同定した。
• 統計的しきい値手法は、非語彙的文字列を効果的にフィルタリングしつつ、高精度な語彙候補を保持した。
• 本手法は、ニュース、技術文書、および非公式な文章を含む多様なテキスト分野で、強固な性能を示した。