[論文レビュー] Evaluating the Effectiveness of Ensembles of Decision Trees in Disambiguating Senseval Lexical Samples

Ted Pedersen|ArXiv.org|May 27, 2002

Bayesian Modeling and Causal Inference参考文献 6被引用数 8

ひとこと要約

この論文は、Senseval-1およびSenseval-2の語義例文において、unigram、bigram、共起特徴を用いた決定木のアンサンブルを語義素性の分類に評価している。システムは、異なる特徴ビューに基づいて訓練されたバギングされた決定木を用い、共起特徴が個別に最も正確であることが示された。これは、アンサンブルが単一モデルよりも限定的な改善をもたらす可能性を示唆している。

ABSTRACT

This paper presents an evaluation of an ensemble--based system that participated in the English and Spanish lexical sample tasks of Senseval-2. The system combines decision trees of unigrams, bigrams, and co--occurrences into a single classifier. The analysis is extended to include the Senseval-1 data.

研究の動機と目的

• アンサンブルベースの決定木が、個々の分類器よりも語義素性の分類精度を向上させるかどうかを評価すること。
• Duluth38アンサンブル内の成分分類器が補完的か、重複的かを特定すること。
• unigram、bigram、共起特徴が分類性能に与える相対的寄与度を評価すること。
• Duluth38システムの性能を、Senseval-1およびSenseval-2の上位システムと比較すること。
• 最適な組み合わせによって、単純なモデル（例：多数決分類器、意思決定スツーム）が複雑なアンサンブルと同等の精度を達成できるかどうかを調査すること。

提案手法

• システムは、WekaのJ48を用いてバギングされた決定木（bagged decision trees）を用い、3つの異なる特徴ビュー（unigram、bigram、共起）に基づいて訓練している。
• unigramは、ターゲット語の文脈に5回以上出現する語で、ストップワードを除く。
• bigramは、対数尤度比が6.635以上（p ≤ 0.01）の2語連続語群であり、非独立性を示している。
• 共起特徴は、ターゲット語と1〜2語以内の隣接語からなる語ペアで、対数尤度比が2.706以上（p ≤ 0.10）である。
• 各特徴タイプごとに別個の訓練セットを形成し、それぞれに対して個別の決定木を訓練している。
• 最終的な予測は、アンサンブルに含まれる3つの木の予測の過半数による投票である。

実験結果

リサーチクエスチョン

• RQ1 Duluth38アンサンブル内のメンバー分類器は補完的か、それとも重複的な予測をしているか？
• RQ2 アンサンブル投票による複数の決定木の組み合わせは、個々の木よりも分類精度を顕著に向上させるか？
• RQ3 unigram、bigram、共起のうち、どの特徴タイプが分類精度に最も寄与しているか？
• RQ4 Duluth38アンサンブルの性能は、Senseval-1およびSenseval-2の上位システムと比べてどうか？
• RQ5 単純なベースラインモデル（例：多数決分類器、意思決定スツーム）が最適な組み合わせによって、複雑なアンサンブルと同等の性能を達成できる程度はどの程度か？

主な発見

• 共起特徴の決定木は、Senseval-1データで68%の精度を達成し、完全なアンサンブルと同等の性能を示した。
• アンサンブルシステム（Duluth38）は、Senseval-1で68%、英語版Senseval-2テストセットで72.5%の精度を達成した。
• 共起特徴の木が最も精度の高い個別分類器であり、unigramおよびbigramの木を上回った。
• Duluth38と上位2つのシステムとの一致度は高く、全データセットで80%以上の一致を示した。
• 多数決分類器および意思決定スツームは、テストインスタンスの33%～43%で誤りを犯しており、最適な組み合わせによって改善の余地があることを示している。
• 最も優れた個別分類器（共起特徴の木）よりもアンサンブルによる改善はわずかであり、メンバー間の補完性は限定的であることが示唆された。