[論文レビュー] Weighted Naive Bayes Model for Semi-Structured Document Categorization

Pierre-François Marteau, Gilbas Ménier+1 more|ArXiv.org|Jan 4, 2009

Text and Document Classification Technologies参考文献 15被引用数 5

ひとこと要約

本稿では、文書の構造を段階的構造テキスト分類に統合するため、文脈依存の重みを構造的要素に割り当てる重み付きナイーブベイズモデルを提案する。語の出現における構造的文脈を再帰的にモデル化することで、標準的な多項式ナイーブベイズよりも分類精度が向上し、一時的重み戦略を用いてReuters-21578データセットでSVMと同等の性能を達成する。

ABSTRACT

The aim of this paper is the supervised classification of semi-structured data. A formal model based on bayesian classification is developed while addressing the integration of the document structure into classification tasks. We define what we call the structural context of occurrence for unstructured data, and we derive a recursive formulation in which parameters are used to weight the contribution of structural element relatively to the others. A simplified version of this formal model is implemented to carry out textual documents classification experiments. First results show, for a adhoc weighting strategy, that the structural context of word occurrences has a significant impact on classification results comparing to the performance of a simple multinomial naive Bayes classifier. The proposed implementation competes on the Reuters-21578 data with the SVM classifier associated or not with the splitting of structural components. These results encourage exploring the learning of acceptable weighting strategies for this model, in particular boosting strategies.

研究の動機と目的

• コンテンツと構造的マークアップが混合する半構造的ドキュメントの分類という課題に対処すること。
• 語の出現の構造的文脈を定式化することで、ベイジアン分類への文書構造の統合を明確化すること。
• 分類に与える重要性に基づいて構造的要素の重みを設定する再帰的パrameter化モデルを開発すること。
• 従来のbag-of-wordsアプローチと比較して、構造的文脈の影響が分類性能に与える影響を評価すること。
• 特にブースティングを用いた学習ベースの重み戦略の可能性を検討し、モデルの汎化性能を向上させること。

提案手法

• モデルは、語の出現の構造的文脈を、ドキュメントルートから語の位置までの構造的要素のシーケンスとして定義する。
• 各構造的要素が分類スコアに寄与する再帰的定式化を導入し、学習可能な重みパラメータを備える。
• 重みは、ベイジアンフレームワークにおける後方確率計算への各構造的要素の寄与度を調整するために用いられる。
• 多項式ナイーブベイズベースラインに構造的文脈重み付けを追加することで、モデルの簡略化版を実装する。
• 初期の妥当性確認のため、固定された一時的重み戦略を用いてReuters-21578データセット上でモデルを学習および評価する。
• 構造的コンポONENTの分割を可能にするため、同様の前処理を用いるSVMベースの手法と比較可能となる。

実験結果

リサーチクエスチョン

• RQ1 ナイーブベイズ分類に構造的文脈を組み込むと、半構造的ドキュメントの分類性能にどのように影響するか？
• RQ2 重み付き構造的文脈モデルは、文書分類タスクにおいて標準的な多項式ナイーブベイズを上回ることができるか？
• RQ3 重み付きナイーブベイズモデルと組み合わせた場合、構造的コンポONENTの分割が分類精度に与える影響は何か？
• RQ4 Reuters-21578ベンチマークにおいて、提案手法はSVMと比較して分類性能でどのように差をつけるか？
• RQ5 ブースティングのような学習ベースの重み戦略は、モデルの性能をさらに向上させることができるか？

主な発見

• 構造的文脈の組み込みにより、標準的な多項式ナイーブベイズ分類器と比較して分類精度が顕著に向上する。
• 提案手法は、構造的コンポONENTの分割の有無に関わらず、SVM分類器と同等の性能を達成する。
• 構造的要素に一時的重み戦略を適用することで、Reuters-21578データセット上で分類結果に顕著な向上が得られる。
• 再帰的定式化により、ドキュメント分類における階層的構造的文脈の効果的なモデル化が可能になる。
• 結果から、特にブースティングによる最適な重み戦略の学習が、さらなる性能向上の強い可能性を秘めていることが示唆される。