[論文レビュー] Using Learning-based Filters to Detect Rule-based Filtering Obsolescence

Francis Wolinski, Frantz Vichot+1 more|arXiv (Cornell University)|Jul 7, 2000

Machine Learning and Algorithms参考文献 10被引用数 8

ひとこと要約

本論文では、ルールベースの情報フィルタの陳腐化を自動的に検出する学習ベースの手法を提案する。この手法は、ルールベースシステムによって事前に分類済みの文書で訓練された制御フィルタを用いる。アプローチは、ルールベースと学習ベースのフィルタ出力の微分比較を活用し、時間的変化に伴う多義性（diachronic polysemy）と多形性（polymorphism）に起因する性能低下を特定する。これにより、最小限の人的介入で完全に自動的にメンテナンス可能なフィルタリングシステムの構築が可能になる。

ABSTRACT

For years, Caisse des Depots et Consignations has produced information filtering applications. To be operational, these applications require high filtering performances which are achieved by using rule-based filters. With this technique, an administrator has to tune a set of rules for each topic. However, filters become obsolescent over time. The decrease of their performances is due to diachronic polysemy of terms that involves a loss of precision and to diachronic polymorphism of concepts that involves a loss of recall. To help the administrator to maintain his filters, we have developed a method which automatically detects filtering obsolescence. It consists in making a learning-based control filter using a set of documents which have already been categorised as relevant or not relevant by the rule-based filter. The idea is to supervise this filter by processing a differential comparison of its outcomes with those of the control one. This method has many advantages. It is simple to implement since the training set used by the learning is supplied by the rule-based filter. Thus, both the making and the use of the control filter are fully automatic. With automatic detection of obsolescence, learning-based filtering finds a rich application which offers interesting prospects.

研究の動機と目的

• 言語的および概念的変化に起因して、ルールベースの情報フィルタが時間経過とともに陳腐化する問題に対処すること。
• 高性能なフィルタリングシステムの保守にかかる管理的負担を低減すること。
• 多義性に起因する精度の低下（precision）や多形性に起因する再検出率の低下（recall）が生じた際に、ルールベースのフィルタが陳腐化していることを自動で検出する手法を開発すること。
• 手動での再調整を必要とせずに、継続的なフィルタの監視と保守を可能にすること。
• 学習ベースの技術を既存のルールベースシステムに統合し、長期的な運用安定性を向上させること。

提案手法

• ルールベースフィルタが事前に関連あり／関連なしと分類済みの文書データセットを用いて、制御フィルタを学習させる。
• 学習ベースの制御フィルタを用いて、ルールベースフィルタの予測結果と照合・監視する。
• 2つのフィルタの出力に生じる差異を検出する差分比較メカニズムにより、陳腐化の兆候を特定する。
• この手法は、ルールベースと学習ベースの出力に一貫した乖離が生じる場合、ルールベースの性能低下を示すと仮定している。
• 全プロセスを自動化する：トレーニングデータは、ルールベースフィルタの既存分類から直接抽出される。
• システムは継続的に動作し、リアルタイムでのフィルタリング陳腐化検出を可能にする。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、ルールベースの情報フィルタを時間経過に伴う性能低下を自動的に監視できるか？
• RQ2 学習ベースの制御フィルタは、フィルタリング精度に影響を与える語の多義性や概念の多形性の変化をどの程度検出できるか？
• RQ3 ルールベースと学習ベースのフィルタ出力の差分は、陳腐化の信頼できる指標として機能するか？
• RQ4 この自動検出手法を用いることで、人的介入を最小限に抑えてルールベースのフィルタを維持可能か？
• RQ5 既存のルールベースシステムの分類結果を、学習ベースの制御フィルタを訓練する目的で再利用可能か？

主な発見

• 追加の手動ラベル付けを一切不要として、フィルタリング陳腐化の完全な自動検出が可能である。
• 学習ベースの制御フィルタは、時間的変化に伴う多義性と多形性に起因する性能低下を効果的に特定する。
• 既存のルールベース分類結果をトレーニングデータとして活用することで、新たなアノテーションの必要性がなくなる。
• ルールベースと学習ベースの出力の差分比較が、陳腐化検出の信頼できるシグナルを提供する。
• 継続的かつ自己学習型の監視が可能となり、ルールベースフィルタの長期的保守性が向上する。
• 高性能な情報フィルタリングシステムを低コストで維持する実用的かつ効果的なソリューションを提供する。