[論文レビュー] Transformation of Wiktionary entry structure into tables and relations in a relational database schema

Andrew Krizhanovsky|arXiv (Cornell University)|Nov 5, 2010

Natural Language Processing Techniques参考文献 15被引用数 13

ひとこと要約

この論文では、ウィクショナリーの未構造化テキストエントリから多言語の語彙的データを自動で抽出・構造化し、リレーショナルデータベーススキーマに変換する手法を提示する。非構造化テキストエントリを定義、意味的関係、翻訳を含む正規化されたテーブルに変換する。独自に開発したGPLライセンスのオープンソースパーサーを用いることで、英語およびロシア語ウィクショナリーから機械可読辞書（MRD）を構築可能となり、ウィクショナリーの階層的フォーマット規則に高い忠実度で適合する。

ABSTRACT

This paper addresses the question of automatic data extraction from the Wiktionary, which is a multilingual and multifunctional dictionary. Wiktionary is a collaborative project working on the same principles as the Wikipedia. The Wiktionary entry is a plain text from the text processing point of view. Wiktionary guidelines prescribe the entry layout and rules, which should be followed by editors of the dictionary. The presence of the structure of a Wiktionary article and formatting rules allows transforming the Wiktionary entry structure into tables and relations in a relational database schema, which is a part of a machine-readable dictionary (MRD). The paper describes how the flat text of the Wiktionary entry was extracted, converted, and stored in the specially designed relational database. The MRD contains the definitions, semantic relations, and translations extracted from the English and Russian Wiktionaries. The parser software is released under the open source license agreement (GPL), to facilitate its dissemination, modification and upgrades, to draw researchers and programmers into parsing other Wiktionaries, not only Russian and English.

研究の動機と目的

• 未構造化されたウィクショナリーのテキストエントリから構造化された語彙的データを抽出する課題に対処すること。
• ウィクショナリーの階層的かつ意味的構造を正確にモデル化するリレーショナルデータベーススキーマを設計すること。
• ウィクショナリーから定義、意味的関係、翻訳への機械可読アクセスを可能にすること。
• 英語およびロシア語以外のウィクショナリー言語版への対応を可能にする拡張性を提供すること。
• コミュニティの開発を促進し、NLPパイプラインへの統合を可能にするために、パーサーをGPLライセンスで公開すること。

提案手法

• ウィクショナリーのマークアップおよびセクション構造規則を尊重するルールベースのテキスト抽出エンジンを用いて、生のウィクショナリーページコンテンツを解析する。
• 品詞、定義、活用形、翻訳、意味的関係などの構造化されたコンポONENTをテキストから特定・抽出する。
• 外部キー関係を持つ正規化されたリレーショナルテーブル（例：'definitions'、'translations'、'semantic_relations'）に抽出コンポONENTをマッピングする。
• ネストされたセクション（例：1語に複数の意味）を処理し、意味的文脈を維持するための階層的パーサー戦略を適用する。
• 正規表現と文脈に配慮したパターンマッチングを用いて、ウィクショナリーのマークアップ内における言語的要素を検出・分類する。
• 得られたデータを、NLPシステムとの効率的クエリ実行および統合を想定した正規化されたリレーショナルデータベーススキーマに格納する。

実験結果

リサーチクエスチョン

• RQ1 ウィクショナリーのエントリが未構造化されたプレーンテキスト形式である場合、どのようにして正規化されたリレーショナルデータベーススキーマに体系的に変換できるか？
• RQ2 ウィクショナリーのマークアップから定義、翻訳、意味的関係を抽出するのに効果的なパーサー規則およびヒューリスティクスは何か？
• RQ3 得られるデータベーススキーマは、元のウィクショナリーのエントリの意味的・構造的整合性をどの程度保持できるか？
• RQ4 このパーサーは、英語およびロシア語以外のウィクショナリー言語版にも一般化可能か？
• RQ5 NLP研究における語彙的データ抽出に、オープンソースでGPLライセンスが適用されたパーサーを用いる実用的意義は何か？

主な発見

• パーサーは、英語およびロシア語ウィクショナリーの両方のエントリから、高い構造的忠実度で定義、意味的関係、翻訳を正常に抽出した。
• リレーショナルスキーマは、複数の意味や参照関係を含む複雑なウィクショナリーのエントリ構造を効果的にモデル化した。
• パターンマッチングを用いたルールベースのアプローチにより、フォーマットのばらつきにもかかわらず、言語的コンポONENTの正確な同定が可能になった。
• GPLライセンスでパーサーをオープンソースとして公開したことで、コミュニティによる採用および他の言語ウィクショナリーへの適応が促進された。
• 得られた機械可読辞書は、語の意味の分類や翻訳システムなどの下流NLPアプリケーションへの効率的クエリ実行および統合を可能にした。
• この手法は、特にリソースが乏しい状況下においても、多言語語彙的リソースへのスケーラビリティと再利用可能性を示した。