[論文レビュー] Mistake-Driven Learning in Text Categorization

Ido Dagan, Yael Karov+1 more|ArXiv.org|Jun 9, 1997

Text and Document Classification Technologies参考文献 20被引用数 144

ひとこと要約

本稿では、Winnow系列に基づく誤り駆動型学習アルゴリズムであるBalancedWinnow$^+$を提案する。この手法は、高次元的でスパースかつ可変長のテキスト特徴を考慮してテキスト分類に最適化されている。しきい値範囲、特徴頻度正規化（平方根）、動的特徴削除を組み込むことで、リーマンコルパスにおいて74.6%のブレークイーブンポイントを達成し、従来のunigram特徴を用いた手法を著しく上回った。

ABSTRACT

Learning problems in the text processing domain often map the text to a space whose dimensions are the measured features of the text, e.g., its words. Three characteristic properties of this domain are (a) very high dimensionality, (b) both the learned concepts and the instances reside very sparsely in the feature space, and (c) a high variation in the number of active features in an instance. In this work we study three mistake-driven learning algorithms for a typical task of this nature -- text categorization. We argue that these algorithms -- which categorize documents by learning a linear separator in the feature space -- have a few properties that make them ideal for this domain. We then show that a quantum leap in performance is achieved when we further modify the algorithms to better address some of the specific characteristics of the domain. In particular, we demonstrate (1) how variation in document length can be tolerated by either normalizing feature weights or by using negative weights, (2) the positive effect of applying a threshold range in training, (3) alternatives in considering feature frequency, and (4) the benefits of discarding features while training. Overall, we present an algorithm, a variation of Littlestone's Winnow, which performs significantly better than any other algorithm tested on this task using a similar feature set.

研究の動機と目的

• 高次元的でスパースなテキスト分類タスクにおける誤り駆動型学習アルゴリズムの性能を向上させること。
• 可変長ドキュメントとテキストデータにおける高スパース性に起因する課題に対処すること。
• 重み更新ルールおよび特徴処理の変更が、テキスト分類における一般化性能に与える影響を調査すること。
• Winnowのような乗法的重みアルゴリズムが、ドメイン特化のチューニングによって著しく改善可能であることを示すこと。
• unigram特徴のみを用いて、テキスト分類のための新しい最先端のベースラインを確立すること。

提案手法

• 誤分類が発生した際に乗法的に重みを更新するWinnowアルゴリズムに基づく誤り駆動型学習フレームワークを採用する。
• 意思決定境界の安定性と一般化性能の向上を図るため、学習中にしきい値範囲を導入する。
• 高頻度だが情報量が少ない語の影響を軽減するため、特徴頻度に平方根変換を適用する。
• 学習中に動的特徴削除を実装し、関係のないまたはノイズの多い特徴を排除する。
• 長文ドキュメントの処理を改善し、特徴数のばらつきによるバイアスを低減するために、負の重みを用いる。
• 正例と負例の両クラスにおける重み更新の対称性を維持するため、Winnowのバランス型バージョンを採用する。

実験結果

リサーチクエスチョン

• RQ1 しきい値範囲と特徴頻度正規化は、高次元的テキスト分類において性能にどのように影響を与えるか？
• RQ2 学習中に動的特徴削除を適用することで、テキスト分類における学習効率と精度はどの程度向上するか？
• RQ3 テキストデータに特化した修正を加えることで、誤り駆動型アルゴリズム（例：Winnow）は著しく改善可能か？
• RQ4 可変長ドキュメントの処理において、負の重みの使用は正の重みのみの更新ルールと比較して、どのように差が現れるか？
• RQ5 Rocchio、ニューラルネットワーク、Ripperといった既存のベースラインと比較して、チューニングされたWinnowの変種の性能はどの程度か？

主な発見

• BalancedWinnow$^+$は、リーマンコルパスのLewisスプリットにおいて、unigram特徴のみを用いて74.6%のブレークイーブンポイントを達成し、同特徴セットを用いた他のすべてのアルゴリズムを上回った。
• Apteスプリットでは83.3%を達成し、より豊富な特徴セットを用いた次に優れた手法（75.9%）を著しく上回った。
• 学習中にしきい値範囲を用いることで、一般化性能と意思決定境界の安定性が明確に向上した。
• 特徴頻度に平方根変換を適用することで、高頻度だが判別力が低い語の影響が軽減された。
• 学習中の動的特徴削除により、事前特徴選択を要せず、ノイズや関係のない特徴を除去することで性能が向上した。
• 正規化または負の重みの使用により、ドキュメント長の変動に対して頑健な性能を示し、スケーラビリティと正確性が向上した。