[論文レビュー] A Sequential Model for Multi-Class Classification

Yair Even-Zohar, Dan Roth|ArXiv.org|Jun 20, 2001

Anomaly Detection Techniques and Applications参考文献 19被引用数 26

ひとこと要約

本稿では、特徴空間の分解と確率的しきい値設定を活用することで、自然言語処理タスク（品詞タグ付けなど）において、計算効率を著しく向上させるとともに、高い正確性を達成する、逐次的で多クラス分類のためのモデルを提案する。このモデルは、単純で高精度な分類器を繰り返し用いて候補クラス数を段階的に削減し、真のクラスが候補集合に残る確率を高く保つ。

ABSTRACT

Many classification problems require decisions among a large number of competing classes. These tasks, however, are not handled well by general purpose learning methods and are usually addressed in an ad-hoc fashion. We suggest a general approach -- a sequential learning model that utilizes classifiers to sequentially restrict the number of competing classes while maintaining, with high probability, the presence of the true outcome in the candidates set. Some theoretical and computational properties of the model are discussed and we argue that these are important in NLP-like domains. The advantages of the model are illustrated in an experiment in part-of-speech tagging.

研究の動機と目的

• 候補クラス数が非常に大きい自然言語処理分野における多クラス分類の課題に対処すること。
• 大規模な多クラス問題に対して苦労する一般用途の学習手法の限界を克服すること。
• 逐次的フィルタリングを通じて真のクラスが候補集合に高い確率で残るよう保証する汎用フレームワークを構築すること。
• 品詞タグ付けや語義の解釈の明確化といった自然言語処理応用分野における計算効率と正確性の向上。
• データ豊富で曖昧性の高いドメインにおけるモデルの有効性を理論的および実験的に裏付けること。

提案手法

• 特徴空間を部分に分解して作用する単純な片側誤差分類器の系列を用い、候補クラスを削減する。
• 確率的しきい値設定を適用し、複数の分類器間で確率分布を乗算・フィルタリングすることで、候補集合を段階的に狭める。
• 候補集合のサイズを速やかに削減しつつ、真のラベルを高い確率で保持するように分類器の順序を最適化する。
• 特徴空間の分解により分類器間の統計的独立性を達成し、その正確性と信頼性を高める。
• 表現の指数的compactさを有する決定木に類似した逐次的意思決定プロセスを採用する。
• 既存の学習アルゴリズム（例：ベイジアン、線形分類器）を、特徴の部分空間に適応させたベース分類器として、系列に組み込む。

実験結果

リサーチクエスチョン

• RQ1 逐次的モデルは、真のクラスを高い確率で保持しつつ、多クラス分類における候補クラス数を効果的に削減できるか？
• RQ2 一対多や誤り訂正出力符号といった従来の多クラスアプローチと比較して、この逐次的モデルは正確性と効率性の面で優れているか？
• RQ3 表現力とcompactさの観点から、逐次的モデルと決定木との理論的関係は何か？
• RQ4 特徴空間の分解は、自然言語処理応用分野におけるモデルの性能とスケーラビリティにどのような影響を与えるか？
• RQ5 本モデルは、顕著な計算コスト削減が見込める実世界の自然言語処理タスク（例：品詞タグ付け）に効果的に適用可能か？

主な発見

• 逐次的モデルは、候補クラス数を段階的に削減することで、各段階でより単純で正確な分類器を用いることを可能にする。
• 構成する分類器に片側誤差があるため、真のクラスが候補集合に高い確率で残る。
• 品詞タグ付けにおける実験では、ベースライン手法と比較して分類正確性が向上している。
• 標準的な多クラス手法と比較して、計算時間に数個のオーダーの改善が得られている。
• 同様の分類関数を表現するにあたり、等価な決定木と比較して、逐次的モデルは指数的にコンactである。
• 理論的分析により、本モデルは任意の2値決定木を表現可能であるが、サイズが著しく小さいことが示され、優れた表現的効率性を示している。