[논문 리뷰] Using Learning-based Filters to Detect Rule-based Filtering Obsolescence

Francis Wolinski, Frantz Vichot외 1명|arXiv (Cornell University)|2000. 07. 07.

Machine Learning and Algorithms참고 문헌 10인용 수 8

한 줄 요약

이 논문은 규칙 기반 정보 필터에서의 노후화를 자동으로 탐지하기 위해, 기존에 규칙 기반 시스템에 의해 분류된 문서를 기반으로 훈련된 제어 필터를 사용하는 학습 기반 방법을 제안한다. 이 방법은 규칙 기반 및 학습 기반 필터 출력 간의 차분 비교를 활용하여 시간에 따른 다의어성과 다형성으로 인한 성능 저하를 식별하며, 최소한의 인간 간섭으로도 완전 자동으로 필터링 시스템을 유지보수할 수 있도록 한다.

ABSTRACT

For years, Caisse des Depots et Consignations has produced information filtering applications. To be operational, these applications require high filtering performances which are achieved by using rule-based filters. With this technique, an administrator has to tune a set of rules for each topic. However, filters become obsolescent over time. The decrease of their performances is due to diachronic polysemy of terms that involves a loss of precision and to diachronic polymorphism of concepts that involves a loss of recall. To help the administrator to maintain his filters, we have developed a method which automatically detects filtering obsolescence. It consists in making a learning-based control filter using a set of documents which have already been categorised as relevant or not relevant by the rule-based filter. The idea is to supervise this filter by processing a differential comparison of its outcomes with those of the control one. This method has many advantages. It is simple to implement since the training set used by the learning is supplied by the rule-based filter. Thus, both the making and the use of the control filter are fully automatic. With automatic detection of obsolescence, learning-based filtering finds a rich application which offers interesting prospects.

연구 동기 및 목표

• 언어적 및 개념적 변화로 인해 시간이 지남에 따라 규칙 기반 정보 필터가 노후화되는 문제를 해결하기 위해.
• 고성능 필터링 시스템을 유지보수하는 데 소요되는 행정적 부담을 줄이기 위해.
• 다의어성으로 인한 정밀도 저하 또는 다형성으로 인한 재현율 저하로 인해 규칙 기반 필터가 정확도를 상실할 때를 자동으로 탐지하는 방법을 개발하기 위해.
• 수동 재조정이 필요 없이 지속적인 모니터링과 유지보수를 가능하게 하기 위해.
• 학습 기반 기법을 기존 규칙 기반 시스템에 통합하여 장기적인 운영 안정성을 향상시키기 위해.

제안 방법

• 규칙 기반 필터에 의해 이미 관련 또는 비관련으로 분류된 문서 데이터셋을 사용하여 제어 필터를 훈련한다.
• 학습 기반 제어 필터를 활용해 규칙 기반 필터의 예측 결과와 비교하고, 이를 감시한다.
• 두 필터의 출력 간 이질성을 탐지하는 차분 비교 기법을 통해 잠재적인 노후화를 식별한다.
• 규칙 기반 필터와 학습 기반 필터의 출력 간 일관된 이질성이 발생할 경우, 규칙 기반 성능 저하를 시사한다는 가정에 기반한다.
• 전체 과정이 자동화되어, 훈련 데이터는 규칙 기반 필터의 기존 분류에서 직접 추출된다.
• 시스템은 지속적으로 작동하여 실시간으로 필터링의 노후화를 탐지할 수 있다.

실험 결과

연구 질문

• RQ1 어떻게 하면 규칙 기반 정보 필터를 시간이 지남에 따라 성능 저하 여부를 자동으로 모니터링할 수 있는가?
• RQ2 학습 기반 제어 필터는 필터링 정확도에 영향을 주는 용어의 다의어성 및 개념의 다형성 변화를 어느 정도 탐지할 수 있는가?
• RQ3 규칙 기반 필터와 학습 기반 필터의 출력 간 차이가 노후화의 신뢰할 수 있는 지표가 될 수 있는가?
• RQ4 이 자동 탐지 방법을 사용해 규칙 기반 필터를 최소한의 인간 간섭으로 유지보수하는 데 실현 가능한가?
• RQ5 기존 규칙 기반 시스템의 분류 결과를 어떻게 재사용하여 학습 기반 제어 필터를 훈련시킬 수 있는가?

주요 결과

• 추가적인 수동 레이블링이 필요 없이 필터링의 노후화를 완전 자동으로 탐지할 수 있다.
• 학습 기반 제어 필터는 시간에 따른 다의어성과 다형성으로 인한 성능 저하를 효과적으로 식별한다.
• 기존 규칙 기반 분류 결과를 훈련 데이터로 활용하여 새로운 주석 생성이 필요 없게 된다.
• 규칙 기반 및 학습 기반 출력 간의 차분 비교 결과는 노후화 탐지에 신뢰할 수 있는 신호를 제공한다.
• 시스템은 규칙 기반 필터의 지속적이고 비지도 모니터링을 지원하여 장기적인 유지보수성을 향상시킨다.
• 고성능 정보 필터링 시스템을 유지보수하기 위한 실용적이고 저비용의 솔루션을 제공한다.