[论文解读] Using Learning-based Filters to Detect Rule-based Filtering Obsolescence

Francis Wolinski, Frantz Vichot+1 more|arXiv (Cornell University)|Jul 7, 2000

Machine Learning and Algorithms参考文献 10被引用 8

一句话总结

本文提出一种基于学习的方法，通过使用在规则系统已分类文档上训练的控制过滤器，自动检测基于规则的信息过滤器中的过时现象。该方法利用基于规则与基于学习的过滤器输出之间的差异比较，识别因历时性多义性和多态性导致的性能退化，从而实现仅需最少人工干预的完全自动化过滤系统维护。

ABSTRACT

For years, Caisse des Depots et Consignations has produced information filtering applications. To be operational, these applications require high filtering performances which are achieved by using rule-based filters. With this technique, an administrator has to tune a set of rules for each topic. However, filters become obsolescent over time. The decrease of their performances is due to diachronic polysemy of terms that involves a loss of precision and to diachronic polymorphism of concepts that involves a loss of recall. To help the administrator to maintain his filters, we have developed a method which automatically detects filtering obsolescence. It consists in making a learning-based control filter using a set of documents which have already been categorised as relevant or not relevant by the rule-based filter. The idea is to supervise this filter by processing a differential comparison of its outcomes with those of the control one. This method has many advantages. It is simple to implement since the training set used by the learning is supplied by the rule-based filter. Thus, both the making and the use of the control filter are fully automatic. With automatic detection of obsolescence, learning-based filtering finds a rich application which offers interesting prospects.

研究动机与目标

• 解决基于规则的信息过滤器因语言和概念变化随时间推移而过时的问题。
• 降低维护高性能过滤系统所带来的管理开销。
• 开发一种自动检测基于规则过滤器因多义性导致精度下降或因多态性导致召回率下降的方法。
• 实现在无需手动重新调优的情况下对过滤器进行持续监控与维护。
• 将基于学习的技术整合到现有基于规则的系统中，以提升长期运行的稳定性。

提出的方法

• 使用基于规则过滤器已分类为相关或不相关文档的数据集，训练一个学习型控制过滤器。
• 利用基于学习的控制过滤器对基于规则过滤器的预测结果进行监督和对比。
• 通过差异比较机制检测两个过滤器输出之间的差异，以识别潜在的过时现象。
• 该方法依赖于一个假设：即基于规则与基于学习的输出之间持续的偏差，表明基于规则的性能出现退化。
• 整个过程完全自动化：训练数据直接从基于规则过滤器的现有分类中提取。
• 系统持续运行，支持对过滤过时现象的实时检测。

实验结果

研究问题

• RQ1 如何自动监测基于规则的信息过滤器随时间推移的性能退化？
• RQ2 基于学习的控制过滤器在多大程度上能够检测影响过滤准确性的术语多义性和概念多态性变化？
• RQ3 基于规则与基于学习的过滤器输出之间的差异是否可作为过时现象的可靠指标？
• RQ4 使用此自动化检测方法，能否以最少的人工干预实现对基于规则过滤器的维护？
• RQ5 如何重用基于规则系统现有的分类结果来训练基于学习的控制过滤器？

主要发现

• 该方法可完全自动检测过滤过时现象，无需额外的人工标注。
• 基于学习的控制过滤器能有效识别由历时性多义性和多态性引起的性能退化。
• 该方法利用现有基于规则的分类作为训练数据，无需新增标注工作。
• 基于规则与基于学习的输出之间的差异比较，为检测过时现象提供了可靠信号。
• 该系统支持对基于规则过滤器的持续、无监督监控，显著提升长期可维护性。
• 该方法为维护高性能信息过滤系统提供了一种实用且低成本的解决方案。