[論文レビュー] A Morphological Analyzer for Japanese Nouns, Verbs and Adjectives

Yanchuan Sim|arXiv (Cornell University)|Oct 1, 2014

Natural Language Processing Techniques参考文献 4被引用数 3

ひとこと要約

本稿では、FOMAツールキットを用いて有限状態トランスデューサー（FST）を用い、MeCabに細分化された品詞機能（丁寧さ、時制、モード、 voice）を拡張した、日本語名詞、動詞、形容詞のオープンソース形態素解析器を提示する。形容詞では89.2%のリCALLと89.2%のPRECISIONを達成し、動詞では89.2%のリCALLと77.6%のPRECISIONを達成しており、敬語、集合的接尾語、および複雑な動詞活用を捉えることで、MeCabの粗い粒度の解析を顕著に改善している。

ABSTRACT

We present an open source morphological analyzer for Japanese nouns, verbs and adjectives. The system builds upon the morphological analyzing capabilities of MeCab to incorporate finer details of classification such as politeness, tense, mood and voice attributes. We implemented our analyzer in the form of a finite state transducer using the open source finite state compiler FOMA toolkit. The source code and tool is available at https://bitbucket.org/skylander/yc-nlplab/.

研究の動機と目的

• MeCabの標準的な69品詞タグを超えて、丁寧さ、時制、モード、語態などの細分化された文法的特徴を捉える形態素解析器を開発すること。
• 特に敬語、集合的接尾語、および日本語の動詞活用に関して、既存のツールに詳細な形態素解析の欠如があることを是正すること。
• 有限状態トランスデューサー（FST）フレームワークを用いてMeCabの出力を拡張することで、動詞および形容詞の形態素解析の正確性と再現率を向上させること。
• 実世界のコーパス（TanakaおよびJapanese-Multilingual Dictionary）上でシステムを評価し、主な失敗モードとカバレッジのギャップを同定すること。
• 過剰生成を低減しながら再現率を保持するpost-processingヒューリスティクスを提案し、実用的有用性を高めること。

提案手法

• 解析器はFOMAの有限状態コンパイラーを用いて、日本語語形を処理し、複数の形態素解析を生成する有限状態トランスデューサー（FST）を実装する。
• MeCabの出力を、丁寧さ（o-/go-）、語態（受動）、進行（完了）、モード（可能、否定）などの詳細な形態素特徴を追加することで拡張する。
• システムはJapanese-Multilingual DictionaryおよびTanakaコーパスを活用して、完全な活用パターンを有する動詞および形容詞の語彙を構築する。
• 無効な素性順序をフィルタリングし、MeCabの語彙形と整合させるために、post-processingレコognitionを適用し、過剰生成を低減する。
• FSTはTanakaコーパスから2,000語の動詞および1,000語の形容詞のトークンを用いて学習および評価され、精度と再現率はトークンごとに計算される。
• i-形容詞（-iで終わる）およびna-形容詞（copula -daを要する）を処理し、copulaを一貫性のある解析のための不規則動詞として扱う。

実験結果

リサーチクエスチョン

• RQ1 有限状態トランスデューサーは、MeCabの標準的な品詞タグを超えて、日本語の動詞および形容詞における丁寧さ、時制、語態といった細分化された形態素特徴を効果的にモデル化できるか？
• RQ2 名詞および名詞形において、敬語接頭語（o-/go-）および接尾語（例：-san, -kun, -sama）をどれほど効果的に捉えられるか？
• RQ3 語彙カバレッジおよびコーパスの種別が、特に日本語の合成的性質と動詞活用の高い生産性を鑑みた場合、精度と再現率に与える影響は何か？
• RQ4 post-processingヒューリスティクスは、再現率を損なうことなく、過剰生成をどの程度低減できるか？
• RQ5 i-形容詞とna-形容詞の間で、活用の複雑さおよびパフォーマンス指標にどのような差が生じるか？

主な発見

• 形容詞では89.2%のリCALLと89.2%のPRECISIONを達成しており、活用が少なく、より安定した形態を持つクラスにおいて優れたパフォーマンスを示している。
• 動詞では89.2%のリCALLを達成したが、精度は77.6%にとどまり、Tanakaコーパスにおける高い形態素生産性および口語的形態の影響を反映している。
• ‘信じられている’（had been believed）のような複雑な動詞形を効果的に捉え、FSTルールにより主な解析とあまり一般的でない解析を両方生成した。
• post-processingステップにより、無効な素性シーケンスをフィルタリングし、MeCabの語彙形と整合させる処理がなされたことで、過剰生成が顕著に低減され、再現率に影響を与えずに精度が向上した。
• カバレッジのギャップは、動詞の高い生産性と、特に会話的・口語的言語における語彙カバーの限界により、動詞で最も顕著であった。
• 評価セットに含まれる77.4%の形容詞が基本形（語彙形）にあり、これは活用形がより多く含まれる動詞の形態と比較して、より高い精度に寄与している。