[論文レビュー] A comparison of SVM and RVM for Document Classification

Muhammad Rafi, M. Shahid Shaikh|arXiv (Cornell University)|Jan 13, 2013

Text and Document Classification Technologies参考文献 9被引用数 14

ひとこと要約

本稿では、3つの標準データセットを用いて、テキストドキュメント分類におけるサポートベクターマシン（SVM）と関連ベクターマシン（RVM）を比較している。RVMはトレーニング時間が長いが、ベイジアン推論を活用してよりコン act でスパースなモデルを構築するため、SVMに比べて顕著に高い分類精度を達成する。

ABSTRACT

Document classification is a task of assigning a new unclassified document to one of the predefined set of classes. The content based document classification uses the content of the document with some weighting criteria to assign it to one of the predefined classes. It is a major task in library science, electronic document management systems and information sciences. This paper investigates document classification by using two different classification techniques (1) Support Vector Machine (SVM) and (2) Relevance Vector Machine (RVM). SVM is a supervised machine learning technique that can be used for classification task. In its basic form, SVM represents the instances of the data into space and tries to separate the distinct classes by a maximum possible wide gap (hyper plane) that separates the classes. On the other hand RVM uses probabilistic measure to define this separation space. RVM uses Bayesian inference to obtain succinct solution, thus RVM uses significantly fewer basis functions. Experimental studies on three standard text classification datasets reveal that although RVM takes more training time, its classification is much better as compared to SVM.

研究の動機と目的

• テキストドキュメント分類タスクにおけるSVMとRVMの性能を評価・比較すること。
• 大規模なテキスト分類におけるトレーニング時間と分類精度のトレードオフを評価すること。
• モデルのスパarsityとベイジアン推論が分類性能に与える影響を調査すること。
• RVMが使用する基底関数の数を削減することで、ドキュメント分類における一般化性能が向上するかどうかを特定すること。

提案手法

• 本研究では、最大マージン超平面を用いてクラスを分離するカーネルベースの教師あり学習手法として、サポートベクターマシン（SVM）を採用している。
• RVMはベイジアン推論を用いて、SVMに比べて少ない基底関数でスパースな解を得る。
• テキスト特徴量は、TF-IDFなどの標準的手法を用いて抽出・重み付けされ、ドキュメントをベクトル空間に表現する。
• 再現可能性と一般化性を確保するため、3つのベンチマークテキスト分類データセットを用いて実験を行った。
• 分類性能は、正確度、適合率、再現率などの標準指標を用いて評価した。
• 両モデル間でトレーニング時間とモデル複雑度（サポート/関連ベクタの数）を測定・比較した。

実験結果

リサーチクエスチョン

• RQ1 標準的なテキストデータセットにおいて、RVMはSVMに比べて分類精度でどのように異なるか？
• RQ2 RVMとSVMを用いる場合、トレーニング時間と性能のトレードオフはどのようなものか？
• RQ3 RVMにおけるスパース表現は、ドキュメント分類においてより良い一般化をもたらすか？
• RQ4 SVMのマージン最大化アプローチに比べ、RVMにおけるベイジアン推論は、モデル性能をどの程度向上させるか？

主な発見

• RVMは、3つの標準的なテキスト分類データセットすべてで、SVMに比べ顕著に高い分類精度を達成した。
• トレーニング時間が長いにもかかわらず、RVMはSVMに比べてはるかにスパースなモデルを生成し、基底関数の数を減らした。
• RVMのベイジアンフレームワークにより、モデル複雑度が低下しても一般化性能が向上し、より良い性能が得られた。
• RVMの性能向上は、適合率や再現率を含む複数の評価指標において一貫して観察された。
• 本研究では、RVMの確率的アプローチが、テキスト分類タスクにおいてよりロバストで正確な分類結果をもたらすことを確認した。