[논문 리뷰] Can FCA-based Recommender System Suggest a Proper Classifier?

Yury Kashnitsky, Dmitry I. Ignatov|arXiv (Cornell University)|2015. 04. 21.

Rough Sets and Fuzzy Logic참고 문헌 3인용 수 5

한 줄 요약

이 논문은 다중 분류 데이터셋인 digits와 nursery에서 기존 기반 분류기와 표준 앙상블 방법을 능가하는 성능을 내기 위해, 훈련 세트에서 각 테스트 인스턴스의 가장 가까운 이웃들의 분류 성능을 바탕으로 가장 적합한 기반 분류기를 추천하는 추천 기반 다중 분류기 시스템(RMCS)을 제안한다. 이 방법은 유사한 인스턴스를 올바르게 분류한 분류기를 선택하여 정확도를 향상시킨다. Formal Concept Analysis(FCA)를 사용하여 이뤄진다.

ABSTRACT

The paper briefly introduces multiple classifier systems and describes a new algorithm, which improves classification accuracy by means of recommendation of a proper algorithm to an object classification. This recommendation is done assuming that a classifier is likely to predict the label of the object correctly if it has correctly classified its neighbors. The process of assigning a classifier to each object is based on Formal Concept Analysis. We explain the idea of the algorithm with a toy example and describe our first experiments with real-world datasets.

연구 동기 및 목표

• 다중 분류 문제에서 개별 테스트 인스턴스에 가장 적합한 분류기를 선택하는 데 도전하는 것.
• 유사한 훈련 인스턴스에서의 분류기 성능을 활용하여 분류 정확도를 향상시키는 것.
• 공식 개념 분석(FCA)을 사용하여 국소적 이웃 유사성에 기반해 동적으로 분류기를 할당하는 새로운 앙상블 방법을 개발하는 것.
• RMCS 접근법이 bagging과 AdaBoost와 같은 표준 앙상블 기법과 비교하여 효과적인지 평가하는 것.
• RMCS가 기존 앙상블 방법을 능가하는 조건을 탐색하고, 계산 효율성을 최적화하는 것.

제안 방법

• 알고리즘은 객체가 훈련 인스턴스이고 속성이 기반 분류기인 훈련 컨텍스트를 구성하며, 이중 관계는 분류기가 해당 인스턴스를 올바르게 분류했는지를 나타낸다.
• Galois 연산자를 사용하여 광역과 의도를 계산함으로써 공식 개념—일반적인 분류기를 공유하고 그것이 올바르게 분류한 인스턴스의 군집—을 발견하기 위해 공식 개념 분석(FCA)을 적용한다.
• 각 테스트 인스턴스에 대해 유사도 함수를 사용해 훈련 세트에서 k개의 가장 가까운 이웃을 식별한 후, 그 이웃와 광역 간의 겹침이 가장 큰 공식 개념을 선택한다.
• 선택된 개념의 의도에 포함된 분류기를 사용해 테스트 인스턴스의 레이블을 예측하고, 그 중 투표를 통해 최종 예측을 결정한다.
• k-겹 교차 검증을 사용해 훈련 컨텍스트를 구축하고, 겹치지 않는 폴드에서의 분류기 성능 평가를 통해 안정성을 확보한다.
• 최종 예측은 선택된 개념의 의도에 포함된 분류기들 간의 다수결 투표를 통해 이루어지며, 이는 국소적 이웃의 분류 행동과 일관성을 유지한다.

실험 결과

연구 질문

• RQ1 유사한 훈련 인스턴스에서 성능이 좋은 분류기를 선택하는 것이 종합 분류 정확도를 향상시킬 수 있는가?
• RQ2 RMCS 알고리즘의 성능은 다중 분류 데이터셋에서 bagging과 AdaBoost와 같은 표준 앙상블 방법과 비교해 어떻게 되는가?
• RQ3 다양한 거리 측정법과 유사도 함수는 RMCS 알고리즘의 정확도와 효율성에 어떤 영향을 미치는가?
• RQ4 RMCS가 기존 앙상블 방법(예: bagging 및 부스팅)을 능가하는 조건은 무엇인가?
• RQ5 공식 개념 분석은 어떻게 동적으로 인스턴스 기반으로 분류기를 추천하는 데 효과적으로 활용될 수 있는가?

주요 결과

• digits 데이터셋에서 RMCS는 k=5와 n_folds=10일 때 분류 정확도 0.951을 달성하여 가장 우수한 기반 분류기(SVM with RBF kernel, 정확도 0.937)와 bagging(0.927)을 능가했다.
• nursery 데이터셋에서 RMCS는 k=5와 n_folds=10일 때 정확도 0.973을 기록하여 가장 우수한 기반 분류기(SVM with RBF kernel, 정확도 0.969)와 bagging(0.920)을 초월했다.
• RMCS는 mushrooms, ionosphere, digits, nursery를 포함한 네 가지 UCI 데이터셋 전반에서 모든 기반 분류기를 일관되게 능가했다.
• 다중 분류 문제(예: digits와 nursery)에서는 RMCS가 bagging과 AdaBoost를 모두 능가했고, 이진 분류 문제(mushrooms와 ionosphere)에서는 성능이 동일하거나 略로 뛰어났다.
• 알고리즘은 다양한 파라미터 설정에서도 뛰어난 안정성을 보였으며, 높은 k와 n_folds 값을 사용할수록 정확도 향상이 관찰되었다.
• RMCS의 계산 비용은 기반 분류기보다 상당히 높았고, nursery 데이터셋에서 실행 시간이 최대 580초에 이르는 것으로 나타나 정확도와 효율성 사이의 상충 관계가 있음을 시사했다.