[논문 리뷰] An Extensive Evaluation of Filtering Misclassified Instances in Supervised Classification Tasks

Michael R. Smith, Tony Martinez|arXiv (Cornell University)|2013. 12. 13.

Machine Learning and Data Classification참고 문헌 27인용 수 9

한 줄 요약

이 논문은 인위적 노이즈를 추가하지 않고 감독 분류에서 잘못 분류된 인스턴스를 걸러내는 것을 평가하며, 54개의 데이터셋에서 9개의 학습 알고리즘을 필터로 비교한다. 결과적으로 앙상블 필터링은 정확도를 크게 향상시키지만, 다수결 투표 앙상블은 내재된 강건성 덕분에 필터링을 능가한다 — 특히 노이즈가 많은 데이터에서 그렇다. 따라서 다양한 앙상블에 있어서 필터링은 최적의 선택이 아니다.

ABSTRACT

Removing or filtering outliers and mislabeled instances prior to training a learning algorithm has been shown to increase classification accuracy. A popular approach for handling outliers and mislabeled instances is to remove any instance that is misclassified by a learning algorithm. However, an examination of which learning algorithms to use for filtering as well as their effects on multiple learning algorithms over a large set of data sets has not been done. Previous work has generally been limited due to the large computational requirements to run such an experiment, and, thus, the examination has generally been limited to learning algorithms that are computationally inexpensive and using a small number of data sets. In this paper, we examine 9 learning algorithms as filtering algorithms as well as examining the effects of filtering in the 9 chosen learning algorithms on a set of 54 data sets. In addition to using each learning algorithm individually as a filter, we also use the set of learning algorithms as an ensemble filter and use an adaptive algorithm that selects a subset of the learning algorithms for filtering for a specific task and learning algorithm. We find that for most cases, using an ensemble of learning algorithms for filtering produces the greatest increase in classification accuracy. We also compare filtering with a majority voting ensemble. The voting ensemble significantly outperforms filtering unless there are high amounts of noise present in the data set. Additionally, we find that a majority voting ensemble is robust to noise as filtering with a voting ensemble does not increase the classification accuracy of the voting ensemble.

연구 동기 및 목표

• 인위적으로 노이즈를 추가하지 않은 실제 세계의 노이즈가 내재된 데이터셋에서 잘못 분류된 인스턴스를 걸러내는 것이 정확도에 미치는 영향을 평가하는 것.
• 필터로 가장 효과적인 학습 알고리즘은 무엇인지, 그리고 필터링과 학습에 동일한 알고리즘을 사용할 경우 성능 향상이 이루어지는지 확인하는 것.
• 라벨 노이즈를 다루는 데서 필터링과 다수결 투표 앙상블의 성능을 비교하는 것.
• 데이터셋 특성 기반의 적응형 필터링 또는 규칙 기반 선택 전략이 결과를 향상시키는지 조사하는 것.

제안 방법

• C4.5, 랜덤 포레스트, Ridor 등 9개의 다양한 학습 알고리즘을 개별 필터로 사용하여 학습 전에 잘못 분류된 인스턴스를 제거한다.
• 모든 9개의 알고리즘 예측을 조합하여 잘못 분류된 인스턴스를 식별하고 제거하는 앙상블 필터링을 적용한다.
• 데이터셋 및 타겟 알고리즘에 따라 9개의 학습 알고리즘 중 일부를 선택하는 적응형 필터링 알고리즘을 개발한다.
• 9개의 다양한 기저 분류기로 구성된 다수결 투표 앙상블을 훈련하고, 필터링된 데이터와 필터링되지 않은 데이터에서의 성능을 비교한다.
• 분류 정확도를 비교하기 위해 통계적 유의성 검정(p-값)을 사용한다.
• 원래 정확도 기준(예: <90%, <80%)으로 데이터셋을 부분집합으로 나누어 노이즈 수준이 다양한 상황에서의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 인위적으로 노이즈를 추가하지 않은 실제 세계의 데이터셋에서 잘못 분류된 인스턴스를 걸러내는 것이 분류 정확도를 향상시키는가?
• RQ2 어느 학습 알고리즘이 필터로 가장 잘 작동하는가? 그리고 필터링과 학습에 동일한 알고리즘을 사용할 경우 성능 향상이 이루어지는가?
• RQ3 다양한 학습 알고리즘 전반에서 앙상블 필터링이 개별 또는 적응형 필터링 방법보다 우월한가?
• RQ4 라벨 노이즈에 대한 강건성 측면에서 다수결 투표 앙상블은 필터링보다 어떻게 비교되는가?
• RQ5 필터링은 다양한 투표 앙상블의 성능을 떨어뜨리는가? 만약 그렇다면 그 이유는 무엇인가?

주요 결과

• 앙상블 필터링은 모든 9개의 학습 알고리즘에서 분류 정확도를 유의미하게 향상시켰으며, 개별 및 적응형 필터링 방법보다 뛰어났다.
• 높은 내재적 노이즈를 지닌 데이터셋(예: 10% 이상 잘못 레이블링된 인스턴스)에서는 앙상블 필터링이 일부 알고리즘에서 다수결 투표 앙상블을 능가하는 정확도를 달성했지만, 다수결 투표 앙상블 역시 강력한 성능를 보였다.
• 필터링되지 않은 데이터로 훈련한 다수결 투표 앙상블의 평균 정확도(83.62%)는 필터링된 데이터로 훈련한 앙상블(82.09%)보다 유의미하게 높았다. 이는 필터링이 앙상블의 다양성을 해칠 수 있음을 시사한다.
• 필터링은 투표 앙상블의 기저 모델 다양성을 감소시켜 일반화 능력을 약화시키고, 결과적으로 필터링된 훈련에 비해 성능이 떨어지게 했다.
• 다수결 투표 앙상블은 노이즈에 강건했다: 필터링된 데이터로 훈련한 모든 개별 학습 알고리즘보다 성능이 뛰어났으며, 특히 원래 정확도가 낮은 어려운 데이터셋에서 두드러졌다.
• 데이터셋 특성 기반의 효과적인 규칙 기반 필터링 전략은 발견되지 않았으며, 학습에 사용된 알고리즘과 동일한 알고리즘으로 필터링하는 것은 종종 정확도 향상을 이룰 수 없었다.