[논문 리뷰] Extraction of Symbolic Rules from Artificial Neural Networks

S. M. Kamruzzaman, Md. Monirul Islam|arXiv (Cornell University)|2010. 09. 23.

Data Mining Algorithms and Applications참고 문헌 17인용 수 4

한 줄 요약

이 논문은 훈련된 3층 피드포워드 인공신경망에서 기호적 규칙을 추출하는 데 전용인 사상적 백프로파게이션 학습 알고리즘인 REANN을 제안한다. 이 방법은 의사결정트리 출력과 유사한 해석 가능한 명시적 규칙을 생성하며, 유방암, 아카시아, 당뇨병, 계절 분류와 같은 기준 데이터셋에서 높은 예측 정확도와 일반화 능력을 입증한다.

ABSTRACT

Although backpropagation ANNs generally predict better than decision trees do for pattern classification problems, they are often regarded as black boxes, i.e., their predictions cannot be explained as those of decision trees. In many applications, it is desirable to extract knowledge from trained ANNs for the users to gain a better understanding of how the networks solve the problems. A new rule extraction algorithm, called rule extraction from artificial neural networks (REANN) is proposed and implemented to extract symbolic rules from ANNs. A standard three-layer feedforward ANN is the basis of the algorithm. A four-phase training algorithm is proposed for backpropagation learning. Explicitness of the extracted rules is supported by comparing them to the symbolic rules generated by other methods. Extracted rules are comparable with other methods in terms of number of rules, average number of conditions for a rule, and predictive accuracy. Extensive experimental studies on several benchmarks classification problems, such as breast cancer, iris, diabetes, and season classification problems, demonstrate the effectiveness of the proposed approach with good generalization ability.

연구 동기 및 목표

• 백프로파게이션 신경망의 투명성 부족 문제를 해결하기 위해 이해 가능한 기호적 규칙을 추출한다.
• 실제 응용에서 사용자 신뢰와 이해를 저해하는 ANN 예측의 투명성 부족 문제를 해결한다.
• 예측 정확도를 유지하면서도 해석 가능성을 향상시키는 규칙 추출 방법을 개발한다.
• 추출된 규칙이 기존 기호적 방법(예: 의사결정트리)과 유사한 명시적 형태여야 한다.
• 다양한 기준 분류 문제에서 메서드의 효과성을 입증하고, 뛰어난 일반화 능력을 보여준다.

제안 방법

• 기호적 규칙 추출을 위한 최적화를 위해 3층 피드포워드 ANN을 대상으로 4단계 백프로파게이션 학습 알고리즘을 제안한다.
• 안정성과 수렴성을 향상시키기 위해 체계적이고 다단계 학습 과정을 사용하여 네트워크를 훈련시킨다.
• 신경망의 활성화 패턴과 가중치 분포 분석을 통해 기호적 규칙을 추출한다.
• 네트워크의 결정 경계를 인간이 읽을 수 있는 if-then 규칙으로 변환하며, 명시적인 조건과 결과를 포함한다.
• 규칙의 명시성 확보를 위해 추출된 규칙을 다른 기호적 방법의 결과와 비교하여 규칙 수와 조건의 복잡도를 분석한다.
• 표준 기준 데이터셋(예: 유방암, 아카시아, 당뇨병)을 사용하여 규칙 추출 과정과 성능을 검증한다.

실험 결과

연구 질문

• RQ1 훈련된 백프로파게이션 신경망에서 효과적으로 기호적 규칙을 추출하여 해석 가능성을 향상시킬 수 있는가?
• RQ2 추출된 규칙의 예측 정확도는 다른 규칙 추출 및 기호적 학습 방법과 비교해 어떻게 되는가?
• RQ3 REANN 방법은 다양한 분류 문제에 대해 어느 정도 일반화되는가?
• RQ4 추출된 규칙는 기존 의사결정트리 방법으로 생성된 규칙만큼 명시적이고 해석 가능한가?
• RQ5 4단계 학습 알고리즘이 규칙 추출 과정의 품질과 안정성 향상에 기여하는가?

주요 결과

• REANN 방법은 높은 해석 가능성으로 훈련된 3층 피드포워드 ANNs에서 기호적 규칙을 성공적으로 추출한다.
• 추출된 규칙는 다른 규칙 추출 및 기호적 학습 방법과 비교해도 유사한 예측 정확도를 유지한다.
• 유방암, 아카시아, 당뇨병, 계절 분류를 포함한 기준 데이터셋에서 강력한 일반화 능력을 보여준다.
• 추출된 규칙의 수와 평균 조건 수는 다른 기호적 규칙 생성 기법과 유사하다.
• 4단계 학습 알고리즘이 규칙 추출 과정의 안정성과 품질 향상에 기여한다.
• 이 방법은 성능 손실 없이 ANN의 투명성 부족 문제를 효과적으로 해결하여 인간이 읽을 수 있는 기호적 규칙으로 변환한다.