[논문 리뷰] Rule Extraction Algorithm for Deep Neural Networks: A Review

Tameru Hailesilassie|arXiv (Cornell University)|2016. 01. 01.

Neural Networks and Applications인용 수 20

한 줄 요약

이 논문은 딥 뉴럴 네트워크(DNNs)를 위한 규칙 추출 알고리즘을 검토하며, 이를 분해적, 교육적, 복합적 접근으로 분류한다. 핵심적인 격차는 높은 정확도를 보이는 DNNs에서 해석 가능한 규칙을 추출하기 위한 연구가 제한되어 있다는 점을 드러내며, 의사결정 시스템에서 설명 가능한 AI의 필요성을 강조한다.

ABSTRACT

Despite the highest classification accuracy in wide varieties of application areas, artificial neural network has one disadvantage. The way this Network comes to a decision is not easily comprehensible. The lack of explanation ability reduces the acceptability of neural network in data mining and decision system. This drawback is the reason why researchers have proposed many rule extraction algorithms to solve the problem. Recently, Deep Neural Network (DNN) is achieving a profound result over the standard neural network for classification and recognition problems. It is a hot machine learning area proven both useful and innovative. This paper has thoroughly reviewed various rule extraction algorithms, considering the classification scheme: decompositional, pedagogical, and eclectics. It also presents the evaluation of these algorithms based on the neural network structure with which the algorithm is intended to work. The main contribution of this review is to show that there is a limited study of rule extraction algorithm from DNN.

연구 동기 및 목표

• 분류 체계에 기반하여 딥 뉴럴 네트워크(DNNs)를 위한 기존 규칙 추출 알고리즘을 분석하고 분류하는 것.
• 특정 DNN 아키텍처와 관련하여 규칙 추출 알고리즘의 성능 및 적용 가능성을 평가하는 것.
• 특히 깊은 아키텍처에 초점을 맞춘 연구 부족을 포함하여 DNNs에서의 규칙 추출에 대한 연구 격차를 규명하는 것.
• 모델의 투명성과 의사결정의 설명 가능성 향상을 위한 방법을 검토하여 해석 가능한 AI의 개발을 지원하는 것.

제안 방법

• 논문은 규칙 추출 알고리즘을 분해적, 교육적, 복합적 세 가지 주요 체계로 분류하는 체계적인 검토를 수행한다.
• 각 알고리즘을 적용하기 위해 설계된 기반 신경망 구조(예: 피드포워드, 컨볼루션, 순환 네트워크 포함)를 기반으로 평가한다.
• 가중치 해석, 계층별 특징 추출, 은닉 유닛 활성화에서 규칙 생성과 같은 알고리즘 메커니즘에 초점을 맞춘다.
• 다양한 DNN 아키텍처 간에 추출된 규칙의 해석 가능성, 정확도, 일반화 능력을 비교한다.
• 규칙 추출 기법 간의 구조적 및 기능적 차이점과 딥 러닝 모델과의 호환성에 중점을 둔다.

실험 결과

연구 질문

• RQ1 DNNs를 위한 규칙 추출 알고리즘에서 주로 사용되는 분류 체계는 무엇인가요?
• RQ2 규칙 추출 알고리즘은 다양한 DNN 아키텍처와 어떻게 호환성 차이를 보이나요?
• RQ3 현재 DNNs에서 규칙 추출에 대한 연구에서 주요한 한계는 무엇인가요?
• RQ4 기존 규칙 추출 방법은 DNNs의 정확도와 해석 가능성의 유지에 어느 정도 기여하나요?

주요 결과

• 높은 성능와 광범위한 사용에도 불구하고, 딥 뉴럴 네트워크에서 규칙 추출에 특별히 초점을 맞춘 연구가 상당히 부족하다.
• 대부분의 규칙 추출 기법은 CNNs나 RNNs와 같은 깊은 아키텍처가 아닌 표준 피드포워드 네트워크를 대상으로 설계되어 있다.
• 교육적 및 복합적 접근 방식은 가능성은 보이지만, DNNs의 맥락에서 아직 탐색이 부족한 상태이다.
• 이 검토는 DNNs가 학습하는 계층적이고 비선형적인 표현에 특화된 새로운 규칙 추출 방법의 필수성에 대한 핵심적인 필요성을 규명한다.