[논문 리뷰] REx: An Efficient Rule Generator

S. M. Kamruzzaman|arXiv (Cornell University)|2010. 09. 25.

Data Mining Algorithms and Applications참고 문헌 12인용 수 3

한 줄 요약

REx는 일阶 데이터 정보를 활용하여 훈련된 인공신경망(ANN)으로부터 간결하고 해석 가능한 분류 규칙를 추출하는 재귀적이고 규칙 기반의 알고리즘이다. 이 알고리즘은 클래스 구분을 위한 최소 충분 조건을 식별함으로써, 가중치에 의존하지 않고 완벽하고 순서에 민감하지 않은 규칙을 생성하며, 유방암 및 아카이브와 같은 벤치마크 데이터셋에서 원래 데이터의 일관성 수준과 동일한 오류율을 달성하여 높은 정확도와 일반화 성능을 보인다.

ABSTRACT

This paper describes an efficient algorithm REx for generating symbolic rules from artificial neural network (ANN). Classification rules are sought in many areas from automatic knowledge acquisition to data mining and ANN rule extraction. This is because classification rules possess some attractive features. They are explicit, understandable and verifiable by domain experts, and can be modified, extended and passed on as modular knowledge. REx exploits the first order information in the data and finds shortest sufficient conditions for a rule of a class that can differentiate it from patterns of other classes. It can generate concise and perfect rules in the sense that the error rate of the rules is not worse than the inconsistency rate found in the original data. An important feature of rule extraction algorithm, REx, is its recursive nature. They are concise, comprehensible, order insensitive and do not involve any weight values. Extensive experimental studies on several benchmark classification problems, such as breast cancer, iris, season, and golf-playing, demonstrate the effectiveness of the proposed approach with good generalization ability.

연구 동기 및 목표

• 훈련된 인공신경망에서 효율적이고 재귀적인 규칙 추출 방법을 개발하여 해석 가능하고 검증 가능한 분류 규칙를 생성하는 것.
• 가중치 값에 의존하지 않고 순서에 민감하지 않은 간결한 규칙를 생성하는 것.
• 추출된 규칙가 원래 훈련 데이터에 존재하는 일관성 수준 이하의 오류율을 가지도록 보장하는 것.
• 도메인 전문가가 활용할 수 있도록 ANN 기반 지식의 해석 가능성과 모odu larity를 향상시키는 것.
• 다양한 벤치마크 분류 문제에 걸쳐 뛰어난 일반화 성능을 보이는 것.

제안 방법

• REx는 일阶 정보를 활용하여 입력 공간을 재귀적으로 탐색함으로써, 특정 클래스를 다른 클래스와 구분하는 데 필요한 최소 충분 조건을 식별한다.
• 알고리즘은 주어진 클래스의 인스턴스를 올바르게 분류할 수 있는 가장 짧은 특성 조건 조합을 식별함으로써 규칙를 구성한다.
• 알고리즘은 순서에 민감하지 않으며, 특성 평가 순서에 따라 규칙 품질이 변하지 않는다.
• 가중치 값에 의존하는 대신, 데이터 내의 논리적이고 구조적인 패턴에 초점을 맞춘다.
• 규칙 생성 과정은 데이터의 일관성에 의해 이끌리며, 이로 인해 추출된 규칙는 완벽한 성질을 가지게 된다 (즉, 오류율은 데이터의 일관성 수준과 일치한다).
• 이 방법은 각 클래스에 대해 반복적으로 적용되어 중복되지 않은, 이해하기 쉬운 규칙 집합을 생성한다.

실험 결과

연구 질문

• RQ1 가중치 값에 의존하지 않고, 훈련된 ANN에서 간결하고 해석 가능한 규칙를 추출할 수 있는 알고리즘이 존재하는가?
• RQ2 재귀적이고 일阶 접근 방식은 클래스 간 구분을 위한 최소 충분 조건을 얼마나 효과적으로 식별할 수 있는가?
• RQ3 추출된 규칙 집합이 원래 데이터의 오류율을 얼마나 잘 유지하는가? 이는 규칙의 완벽성을 보장하는가?
• RQ4 다양한 벤치마크 분류 문제에 걸쳐 규칙 집합의 일반화 성능은 어떠한가?
• RQ5 정확도와 해석 가능성은 유지하면서 규칙 추출 과정을 순서에 민감하지 않게 만들 수 있는가?

주요 결과

• REx는 유방암, 아카이브, 계절, 골프 플레이어 등 여러 벤치마크 데이터셋에서 간결하고 완벽한 분류 규칙를 성공적으로 생성하였다.
• 추출된 규칙의 오류율은 원래 훈련 데이터의 일관성 수준과 정확히 일치하여 규칙의 완벽성을 확인하였다.
• 알고리즘이 새로운 데이터에 대해서도 강력한 일반화 능력을 보이며, 안정성을 입증하였다.
• 규칙는 명시적이고 논리적인 구조를 지녀 도메인 전문가가 이해하고 검증할 수 있었다.
• REx의 재귀적 구조 덕분에 가중치 값에 의존하지 않고 특성 공간을 효율적으로 탐색할 수 있었다.
• 이 방법은 실제 분류 문제에 대해 효과적이고 확장 가능했으며, 최소한의 계산 오버헤드를 보였다.