[論文レビュー] The comparison of Wiktionary thesauri transformed into the machine-readable format

Andrew Krizhanovsky|arXiv (Cornell University)|Jun 25, 2010

Natural Language Processing Techniques参考文献 14被引用数 7

ひとこと要約

この論文は、英語およびロシア語のウィクショナリー項目を機械可読辞書形式に変換するオープンソースのパーサーを提示している。定義、意味的関係、翻訳を抽出し、英語ウィクショナリーはロシア語よりも1.57倍の意味的関係を有していることが判明した一方、ロシア語は3つの関係以上を有する「豊富な」エントリが1.63倍多い。これは、ウィクショナリーのデータ構造における方法論的不整合を露呈している。

ABSTRACT

Wiktionary is a unique, peculiar, valuable and original resource for natural language processing (NLP). The paper describes an open-source Wiktionary parser: its architecture and requirements followed by a description of Wiktionary features to be taken into account, some open problems of Wiktionary and the parser. The current implementation of the parser extracts the definitions, semantic relations, and translations from English and Russian Wiktionaries. The paper's goal is to interest researchers (1) in using the constructed machine-readable dictionary for different NLP tasks, (2) in extending the software to parse 170 still unused Wiktionaries. The comparison of a number and types of semantic relations, a number of definitions, and a number of translations in the English Wiktionary and the Russian Wiktionary has been carried out. It was found that the number of semantic relations in the English Wiktionary is larger by 1.57 times than in Russian (157 and 100 thousands). But the Russian Wiktionary has more "rich" entries (with a big number of semantic relations), e.g. the number of entries with three or more semantic relations is larger by 1.63 times than in the English Wiktionary. Upon comparison, it was found out the methodological shortcomings of the Wiktionary.

研究の動機と目的

• ウィクショナリーのエントリを機械可読形式に変換する、堅牢で拡張可能かつオープンソースのパーサーを開発すること。
• 研究者が語義の意味づけの解消、機械翻訳、オントロジー構築などのNLPタスクに、構造化されたウィクショナリー・データを活用できるようにすること。
• ウィクショナリーの現在のデータ表現およびフォーマット手法における方法論的欠陥を特定し、文書化すること。
• コミュニティによる拡張を促進し、170の追加ウィクショナリー言語版をサポートするパーサーの開発を促すこと。

提案手法

• パーサーはJavaで実装され、信頼性を確保し、不正または一貫性のないエントリに対処するために単体テストが用いられている。
• ウィクショナリーのダンプデータがMySQLデータベースにインポートされ、効率的な照会とデータ処理が可能になっている。
• パーサーは3つの主要なデータタイプを抽出する：定義、意味的関係（例：類義語、対義語、下位関係）、および複数言語間の翻訳。
• 可視化ツールが使用され、解析されたデータを検査し、欠落または誤って抽出されたフィールドを特定している。
• コミュニティ主導のプロジェクトであるため、進化を続ける複数のウィクショナリー形式標準に対しても後方互換性を確保している。
• パーサーはGPLライセンスの下でリリースされており、再利用、変更、コミュニティ貢献を促進している。

実験結果

リサーチクエスチョン

• RQ1 英語とロシア語のウィクショナリーにおける意味的関係の数と種別を比較するとどうなるか？
• RQ2 2つのウィクショナリーは、抽出された定義および翻訳の数においてどの程度異なるか？
• RQ3 それぞれのウィクショナリーにおいて、3つ以上の意味的関係を持つエントリの割合はどの程度か？
• RQ4 ウィクショナリーの現在のデータ表現に、どのような方法論的不整合や構造的欠陥が存在するか？
• RQ5 進化を続ける複数言語のウィクショナリー形式に対応できるスケーラブルでモジュラーかつ拡張可能なパーサーは、どのように設計できるか？

主な発見

• 英語ウィクショナリーには157,000件の意味的関係が含まれており、ロシア語ウィクショナリーの100,000件と比較して1.57倍多い。
• ロシア語ウィクショナリーは、英語ウィクショナリーと比較して、3つ以上の意味的関係を持つエントリが1.63倍多い。これは、特定のエントリにおいてより高い語彙的豊かさを示している。
• パーサーはロシア語ウィクショナリーの300,000件のエントリを障害なく処理したが、150万件のエントリを含む英語ウィクショナリーのダンプでは10件の問題エントリに遭遇した。
• 本研究では、一貫性のないフォーマットや、不完全または誤った意味的関係タグ付けといった、ウィクショナリーのデータにおける構造的および方法論的不整合が特定された。
• モジュラーな設計と単体テストフレームワークのおかげで、パーサーは信頼性が高く保守可能であり、今後の他のウィクショナリー言語版への拡張が可能である。
• GPLライセンスの下でのパーサーのオープンソースリリースにより、多言語NLPアプリケーション向けの広範な採用とコミュニティ主導の改善が促進されている。