[논문 리뷰] NeuroRule: A Connectionist Approach to Data Mining

Hongjun Lü, Rudy Setiono외 1명|arXiv (Cornell University)|2017. 01. 05.

Neural Networks and Applications참고 문헌 28인용 수 107

한 줄 요약

이 논문은 데이터 마이닝을 가능하게 하기 위해 신경망에서 명시적이고 간결한 분류 규칙을 추출하는 방법을 제시하고, NeuroRule과 의사결정트리 방법을 비교하여 경쟁력 있는 정확도를 보임을 보여준다.

ABSTRACT

Classification, which involves finding rules that partition a given data set into disjoint groups, is one class of data mining problems. Approaches proposed so far for mining classification rules for large databases are mainly decision tree based symbolic learning methods. The connectionist approach based on neural networks has been thought not well suited for data mining. One of the major reasons cited is that knowledge generated by neural networks is not explicitly represented in the form of rules suitable for verification or interpretation by humans. This paper examines this issue. With our newly developed algorithms, rules which are similar to, or more concise than those generated by the symbolic methods can be extracted from the neural networks. The data mining process using neural networks with the emphasis on rule extraction is described. Experimental results and comparison with previously published works are presented.

연구 동기 및 목표

• 연결주의 방법이 전통적 비판에도 불구하고 데이터 마이닝에서 차지하는 역할을 주장한다.
• 신경망에서 명시적이고 사용 가능한 분류 규칙을 추출하는 알고리즘을 개발한다.
• 훈련, 가지치기, 규칙 추출 구성요소를 갖춘 데이터 마이닝 시스템으로 NeuroRule을 제시한다.
• 벤치마크 문제에 대해 결정트리 기반(C4.5) 기준과 NeuroRule을 실증적으로 평가한다.

제안 방법

• 입력층-은닉층-출력층의 3층 피드포워드 신경망을 사용하고 가지치기를 위한 페널티 항을 포함한 교차 엔트로피 오차를 적용한다.
• 수렴 속도를 높이기 위해 BFGS로 학습한다.
• 정확성을 보존하면서 불필요한 가중치를 제거하는 가지치기 알고리즘을 적용한다.
• 은닉 노드의 활성화를 이산화하고 규칙을 생성하는 규칙 추출 알고리즘(RX)을 통해 가지치기된 네트워크로부터 명시적 규칙을 추출한다.
• 고 차수의 은닉 노드를 위한 서브네트워크를 선택적으로 만들어 규칙 추출을 단순화한다.
• Agrawal 등 벤치마크 문제에서 추출된 규칙과 정확도를 C4.5와 비교한다.

실험 결과

연구 질문

• RQ1 학습된 신경망으로부터 정확도를 희생하지 않고도 명시적이고 인간이 해석 가능한 규칙을 추출할 수 있는가?
• RQ2 NeuroRule의 정확도와 규칙 간결성이 기호적으로 학습된 방법인 C4.5에 비해 어떤가?
• RQ3 네트워크 가지치기가 규칙 품질과 계산 효율성에 미치는 영향은 무엇인가?
• RQ4 규칙 추출 과정이 많은 속성들을 가진 대형 데이터베이스로 확장될 수 있는가?

주요 결과

• 신경망은 관련 문제에서 의사결정 트리 방법보다 종종 더 낮은 오차를 달성하는 간결하고 추출 가능한 규칙을 제공할 수 있다.
• Function 2의 가지치기된 네트워크는 386개의 초기 연결 중 단 17개만 사용하여 간결하고 해석 가능한 규칙을 생성했다.
• NeuroRule의 분류 정확도는 여러 벤치마크 함수에서 C4.5와 같거나 더 높은 수준이다(예: Functions 1–3, 4–7, 9).
• 규칙 추출(RX) 과정은 은닉 노드 활성화를 이산화하여 의존성을 열거하고 입력을 출력으로 매핑하는 규칙을 생성한다.
• 추출된 규칙은 원래의 분류 기능을 근접 재현할 수 있으며, 간단한 경우 정확히 일치하기도 한다.