[논문 리뷰] Interpretable Two-level Boolean Rule Learning for Classification

Guolong Su, Dennis Wei외 2명|arXiv (Cornell University)|2016. 06. 18.

Machine Learning and Algorithms참고 문헌 16인용 수 28

한 줄 요약

이 논문은 해밍 손실(정확도)과 희박성(해석 가능성)을 균형 잡힌 원칙적 목적 함수로 통합하여, 기능형 정규형(CNF)과 분리형 정규형(DNF) 모두에서 해석 가능한 이중 수준 부울 규칙을 학습하기 위한 새로운 최적화 프레임워크를 제안한다. 이 방법은 선형계획법(LP) 근사, 블록 좌표 강하, 교대 최소화를 활용하며, 기준 데이터셋에서 정확도와 희박성 간의 최신 기술 수준의 트레이드오프를 달성한다.

ABSTRACT

As a contribution to interpretable machine learning research, we develop a novel optimization framework for learning accurate and sparse two-level Boolean rules. We consider rules in both conjunctive normal form (AND-of-ORs) and disjunctive normal form (OR-of-ANDs). A principled objective function is proposed to trade classification accuracy and interpretability, where we use Hamming loss to characterize accuracy and sparsity to characterize interpretability. We propose efficient procedures to optimize these objectives based on linear programming (LP) relaxation, block coordinate descent, and alternating minimization. Experiments show that our new algorithms provide very good tradeoffs between accuracy and interpretability.

연구 동기 및 목표

• 신뢰성, 감사 가능성, 디버깅이 필수적인 고위험 의사결정 환경에서의 설명 가능한 기계학습 모델에 대한 필요성을 해결하기 위해.
• 통합 목적 함수가 없고 종종 정확도 또는 해석 가능성을 희생하는 히우리스틱 및 귀납적 규칙 학습 방법의 한계를 극복하기 위해.
• 분류 정확도(해밍 손실을 통해 측정)와 규칙의 희박성(해석 가능성)을 동시에 최적화하는 원칙적인 최적화 프레임워크를 개발하기 위해.
• 입력 특징의 임의의 부울 함수를 표현할 수 있는 표현력 있는 이중 수준 규칙(CNF 및 DNF)을 학습할 수 있도록 하기 위해.
• 기존 최적화 기반 방법을 향상시키기 위해, 효율적인 알고리즘 기반의 통합형, 미분 가능한 목적 함수를 사용하는 것

제안 방법

• 분류 오차를 측정하는 해밍 손실과 해석 가능성을 측정하는 희박성을 가중 조합한 통합 목적 함수를 설정하여, 둘 다 최소화하는 것을 목표로 한다.
• 규칙 학습의 이진 정수계획법 성격을 다루기 위해 선형계획법(LP) 근사를 사용하여 비볼록이고 조합 최적화 문제를 효율적으로 최적화할 수 있도록 한다.
• 규칙 구조와 특징 가중치에 대해 순차적으로 최적화하는 데 블록 좌표 강하(BCD)와 교대 최소화(AM)를 활용하며, 각 하위 문제는 LP 근사를 통해 해결된다.
• 클라우즈를 비활성화할 수 있도록 항상 켜진 '더미' 특징을 도입하여, 사전에 클라우즈 수를 고정하지 않고도 동적 클라우즈 선택이 가능하게 한다.
• 데 모르간의 법칙을 적용하여 CNF 기반 프레임워크를 DNF 규칙 학습으로 확장함으로써 대칭성과 광범위한 적용 가능성을 확보한다.
• 모든 데이터셋에서 정확도와 해석 가능성의 균형을 맞추기 위해 스파arsity 파라미터 θ를 이중 교차검증을 통해 튜닝한다.

실험 결과

연구 질문

• RQ1 히우리스틱 또는 귀납적 접근 방식에 비해 원칙적인 최적화 프레임워크가 이중 수준 부울 규칙 학습에서 정확도와 해석 가능성 간의 트레이드오프를 향상시킬 수 있는가?
• RQ2 제안된 BCD 및 AM 알고리즘은 RIPPER, C5.0, CART, 집합 커버링과 같은 최신 기술 대비 정확도와 희박성 측면에서 어떻게 성능을 내는가?
• RQ3 이중 수준 규칙(CNF/DNF)이 단일 수준 규칙에 비해 분류 정확도를 높이면서도 높은 해석 가능성을 유지하는 데 얼마나 효과적인가?
• RQ4 선형계획법 근사와 교대 최소화가 희박하고 정확한 부울 규칙을 학습하는 조합 최적화 문제를 해결하는 데 얼마나 효과적인가?
• RQ5 제안된 프레임워크는 대규모 데이터셋에 대해 효과적으로 확장 가능한가? 실제 데이터에서 특징 수와 오류율 측면에서 기존 방법과 비교해 볼 때 어떻게 성능을 내는가?

주요 결과

• 제안된 BCD 및 AM 알고리즘은 모든 데이터셋에서 단일 수준 규칙(OCRL)보다 유의미하게 낮은 테스트 오차율을 기록하여, 이중 수준 규칙의 뛰어난 표현력이 입증된다.
• BCD는 WDBC에서, AM은 Pima에서 모두 집합 커버링(SC) 방법보다 정확도가 높게 나타나, BCD와 AM이 정확도 측면에서 뛰어난 성능을 내는 것으로 나타났다.
• BCD와 AM 방법은 C5.0 및 CART보다 훨씬 낮은 희박성(적은 특징 수)을 기록하면서도 경쟁적 또는 뛰어난 정확도를 유지한다.
• 대규모 MAGIC 및 Musk 데이터셋에서, RIPPER는 BCD보다 각각 110.0 및 92.0개의 특징을 선택하는 등 훨씬 더 많은 특징을 선택하여 확장성 문제 또는 과적합의 가능성을 시사한다.
• 모든 데이터셋의 평균 희박성은 BCD(3.1)와 AM(3.4)가 랭킹 상에서 가장 낮아, DList(2.3), C5.0(6.0), RIPPER(3.4)에 비해 뛰어난 해석 가능성 성능을 보였다.
• 파킨슨병 데이터셋에서 학습된 예시 규칙는 낮은 주파수와 감소한 볼륨 변동성과 같은 핵심 임상 지표를 정확히 식별하여, 기존 의학적 발견과 일치한다.