[論文レビュー] Preparing Korean Data for the Shared Task on Parsing Morphologically Rich Languages

Jinho D. Choi|arXiv (Cornell University)|Sep 6, 2013

Natural Language Processing Techniques参考文献 3被引用数 15

ひとこと要約

本論文は、語形に富んだ言語の構文解析を目的としたSPMRL 2013合同研究課題において、韓国語に焦点を当てた包括的なデータ準備パイプラインを提示する。27,363文のKAIST TreebankデータをPenn Treebank形式の構文的構成木に変換し、ヒューリスティックルールを用いて依存木を導出する。同時に、評価用にゴールドスタンダードおよび2つの自動語彙解析（HanNanumおよびSejong）を提供する。

ABSTRACT

This document gives a brief description of Korean data prepared for the SPMRL 2013 shared task. A total of 27,363 sentences with 350,090 tokens are used for the shared task. All constituent trees are collected from the KAIST Treebank and transformed to the Penn Treebank style. All dependency trees are converted from the transformed constituent trees using heuristics and labeling rules de- signed specifically for the KAIST Treebank. In addition to the gold-standard morphological analysis provided by the KAIST Treebank, two sets of automatic morphological analysis are provided for the shared task, one is generated by the HanNanum morphological analyzer, and the other is generated by the Sejong morphological analyzer.

研究の動機と目的

• 構文解析のための高品質な韓国語言語データを準備することで、SPMRL 2013共同研究課題を支援すること。
• 構文的構成木をPenn Treebank形式に変換することで、韓国語の句構造を標準化すること。
• ドメイン特化のヒューリスティックおよびラベル付けルールを用いて、構成木から依存木を生成すること。
• ゴールドスタンダードおよび2つの自動システムによる複数の語彙解析層を提供し、比較的構文解析評価を可能にすること。
• 語形に富んだ言語、特に韓国語において、パーサーモデルの堅牢な評価を可能にすること。

提案手法

• KAIST Treebankの27,363文をPenn Treebank形式の構文的構成木に変換した。
• ヒューリスティックベースの変換を適用し、変換済みの構成木から依存木を導出した。
• KAIST Treebankのゴールドスタンダード語彙解析を基準として活用した。
• HanNanum語彙解析器を用いて追加の自動語彙解析を生成した。
• Sejong語彙解析器を用いて第二の自動語彙解析を生成した。
• すべての言語的アノテーションの整合性と共有課題用途における互換性を確保した。

実験結果

リサーチクエスチョン

• RQ1 KAIST Treebankの構文的構成木を、構文解析評価に適したPenn Treebank形式に効果的に変換する方法は何か？
• RQ2 韓国語において、構成木から依存木を信頼性高く生成するためのヒューリスティックルールは何か？
• RQ3 自動語彙解析器（HanNanumおよびSejong）は、ゴールドスタンダード解析と比較して、構文解析タスクでどのように異なるか？
• RQ4 複数の語彙解析層の存在が、構文解析モデルの評価にどの程度向上をもたらすか？
• RQ5 標準化された多層的韓国語データセットは、語形に富んだ言語の構文解析モデル間の信頼性ある比較を可能にするか？

主な発見

• 共同研究課題用に、合計27,363文（350,090語）のデータが準備された。
• すべての構文的構成木が、一貫性のある構文解析評価を可能にするPenn Treebank形式に成功して変換された。
• KAIST Treebank構造に特化したヒューリスティックおよびラベル付けルールを用いて、依存木が生成された。
• HanNanumを用いた自動語彙解析と、Sejongを用いたもう一つの自動語彙解析が生成され、多様なベースライン比較が可能となった。
• ゴールドスタンダード語彙解析が含まれており、パーサーモデルの高精度な評価が可能である。
• 準備されたデータは、特に韓国語のような語形に富んだ言語の構文解析モデルに対する堅牢なベンチマークを支援する。