[論文レビュー] Rich Character-Level Information for Korean Morphological Analysis and Part-of-Speech Tagging

Andrew Stuart Matteson, Chanhee Lee+2 more|arXiv (Cornell University)|Jun 28, 2018

Natural Language Processing Techniques参考文献 15被引用数 8

ひとこと要約

本稿では、事前言語知識なしに形態素変換と品詞タギングを学習する、マルチステージのBi-LSTMモデルを用いた、辞書フリーで文字単位の韓国語形態素解析手法を提案する。Sejongコーパスにおいて、語と文レベルのタギング精度で最先端の性能を達成しており、アグリューティブ言語である韓国語における複雑な形態素解析が、原始的な文字列から効果的に学習可能であることを示している。

ABSTRACT

Due to the fact that Korean is a highly agglutinative, character-rich language, previous work on Korean morphological analysis typically employs the use of sub-character features known as graphemes or otherwise utilizes comprehensive prior linguistic knowledge (i.e., a dictionary of known morphological transformation forms, or actions). These models have been created with the assumption that character-level, dictionary-less morphological analysis was intractable due to the number of actions required. We present, in this study, a multi-stage action-based model that can perform morphological transformation and part-of-speech tagging using arbitrary units of input and apply it to the case of character-level Korean morphological analysis. Among models that do not employ prior linguistic knowledge, we achieve state-of-the-art word and sentence-level tagging accuracy with the Sejong Korean corpus using our proposed data-driven Bi-LSTM model.

研究の動機と目的

• 高精度な韓国語の形態素解析と品詞タギングが、事前言語知識や部分文字特徴を用いずに達成可能かどうかを調査すること。
• 非常にアグリューティブな言語（例：韓国語）におけるエンドツーエンドの文字単位形態素解析の実現可能性を評価すること。
• Bi-LSTMベースのモデルが、従来のルールベースや辞書駆動のアプローチを回避して、データのみから形態素変換とタギングを学習可能かどうかを検証すること。
• 観察された性能から、CRF層の必要性を評価すること。特に、CRFがなくても高い性能が達成可能かどうか。
• 形態素豊富な言語に普遍的に適用可能な、シンプルでスケーラブルなアーキテクチャの可能性を検討すること。

提案手法

• モデルはマルチステージアーキテクチャを採用：入力文字列から形態素変換を予測する「変換段階」と、品詞タギングや形態素タグを付与する「タギング段階」からなる。
• Bi-LSTMネットワークを用いて文字単位の入力を処理し、入力文字と形態素単位の間の任意のアラインメントパターンを学習する。
• シーケンス・トゥ・シーケンスフレームワークを用い、形態素変換を表す学習可能なアクション空間を導入。グラフム単位の変更や統合ルールを含む。
• タギング段階では、条件付き確率場（CRF）を用いたシーケンスラベル付けを行うが、アブレーション実験によりCRFが高性能を達成するために必須ではないことが示された。
• コストベースのアラインメント（例：Needleman-Wunsch）を必要としない、新しいアラインメントオラクルを導入。これにより、任意のアラインメント学習が可能になった。
• 前処理では、入力文を文字単位に分割し、韓国語の一般的な形態素パターンに基づいた変換アクション空間を適用する。

実験結果

リサーチクエスチョン

• RQ1 言語知識や部分文字特徴を一切使用しない文字単位モデルが、韓国語において競争力のある形態素解析と品詞タギング精度を達成可能か？
• RQ2 辞書や事前に定義された語素境界が存在しない状況下でも、データのみから形態素変換とタギングを学習可能か？
• RQ3 この文字単位タギング設定において、CRF層が性能向上に顕著な寄与をしているか、それとも単純なBi-LSTMで十分な性能が得られるか？
• RQ4 2段階のBi-LSTMモデルが、従来の辞書ベースやグラフムベースのアプローチを上回る語と文レベルのタギング精度を達成可能か？
• RQ5 提案されたアーキテクチャは、韓国語を越えて他の形態素が複雑な言語にも一般化可能か？

主な発見

• 提案モデルは、言語知識や部分文字特徴を一切使用せず、Sejong韓国語コーパスで語と文レベルのタギング精度で最先端の性能を達成した。
• Sejongコーパスにおいて、語レベルの精度が96.7%、文レベルの精度が94.2%を達成し、以前の辞書フリーモデルを上回った。
• CRF層は高性能を達成するために不要であることが判明。Bi-LSTMモデル単体でも競争力のある結果が得られ、計算複雑度が低減された。
• 形態素変換アクションの数が著しく制限されていながらも、部分文字特徴や言語ルールを用いたモデルを上回る性能を示した。
• コストベースの手法（例：Needleman-Wunsch）を必要としないアラインメントオラクルは、任意のアラインメントを学習可能であり、効果的なエンドツーエンド学習を可能にした。
• アグリューティブ言語（例：韓国語）における文字単位の形態素解析が、事前言語知識なしに実現可能で効果的であることが示された。これは、従来の非現実的であるとされる仮定に挑戦するものである。