[논문 리뷰] Learning Optimized Or's of And's

Tong Wang, Cynthia Rudin|arXiv (Cornell University)|2015. 11. 06.

Data Mining Algorithms and Applications참고 문헌 23인용 수 15

한 줄 요약

이 논문은 의료 및 마케팅 분야에서 인지적 단순성에 적합한 희박하고 해석 가능한 '논리합의 논리곱'(Or’s of And’s, OOA) 모델을 학습하기 위한 최적화 기반 프레임워크인 OOA 및 그의 더 빠른 변종인 OOAx를 제안한다. 혼합정수계획법과 통계적 근사법을 사용하여, 규칙 수를 최소화하면서도 높은 정확도를 달성하며, 탐욕 알고리즘을 능가하고 블랙박스 모델과 동등하거나 뛰어난 해석 가능성과 성능을 보이며 UCI 데이터셋에서 검증된다.

ABSTRACT

Or's of And's (OA) models are comprised of a small number of disjunctions of conjunctions, also called disjunctive normal form. An example of an OA model is as follows: If ($x_1 = $ `blue' AND $x_2=$ `middle') OR ($x_1 = $ `yellow'), then predict $Y=1$, else predict $Y=0$. Or's of And's models have the advantage of being interpretable to human experts, since they are a set of conditions that concisely capture the characteristics of a specific subset of data. We present two optimization-based machine learning frameworks for constructing OA models, Optimized OA (OOA) and its faster version, Optimized OA with Approximations (OOAx). We prove theoretical bounds on the properties of patterns in an OA model. We build OA models as a diagnostic screening tool for obstructive sleep apnea, that achieves high accuracy with a substantial gain in interpretability over other methods.

연구 동기 및 목표

• 의료 스크리닝 및 마케팅 의사결정 규칙과 같은 실세계 응용 분야에 적합한 매우 해석 가능한 희박한 '논리합의 논리곱'(OA) 모델을 생성하는 기계학습 프레임워크를 개발하는 것.
• 계산 속도를 위해 정확도와 희박성을 희생하는 탐욕적 규칙 학습 알고리즘의 한계를 극복하는 것.
• 해결책의 최적성을 보장하고 맞춤형 제약 조건을 허용하는 수학적으로 엄밀한 최적화 기반 대안을 제공하는 것.
• 인간 전문가가 이해하고 적용할 수 있도록 정확하고 인지적으로 단순한 OA 모델을 구축할 수 있도록 하는 것.
• OA 모델이 UCI 데이터셋에서 경쟁력 있는 성능을 달성하면서도 높은 희박성과 해석 가능성 유지 가능함을 입증하는 것.

제안 방법

• 가중치가 부여된 목적 함수를 사용하여 훈련 오차, 리터럴 수, 패턴 수를 동시에 최소화하는 혼합정수계획문제(MIP)를 수립한다.
• OOAx에서는 이중 단계 접근법을 사용한다: 먼저 고지지 패턴을 사전에 추출한 후, 최적의 부분집합을 선택하기 위해 정수선형계획문제(ILP)를 적용하여 계산 시간을 크게 단축시킨다.
• 사전 추출이 최적 해를 누락하지 않도록 패턴 지지도에 이론적 한계를 도입하여, 충분한 지지도 임계값을 설정할 경우 정확성을 보장한다.
• 패턴 만족 여부를 나타내는 지시 변수를 사용하고 전체 분류기를 논리합의 논리곱으로 모델링하여 정확한 최적화를 가능하게 한다.
• 사전 처리 없이 수치형 및 범주형 데이터를 모두 지원하며, MIP 수식에 직접적으로 속성에 대한 논리 조건을 적용한다.
• MIP/ILP 프레임워크를 통해 맞춤형 제약 조건을 허용하여 알고리즘 재설계 없이도 도메인 특화 규칙을 통합할 수 있다.

실험 결과

연구 질문

• RQ1 최적화 기반 프레임워크는 정확도와 최대 해석 가능성 모두를 확보한 '논리합의 논리곱' 모델을 생성할 수 있는가?
• RQ2 최적 DNF 표현식 학습의 계산 비용을 솔루션 품질을 훼손하지 않고 어떻게 줄일 수 있는가?
• RQ3 사전 추출이 최적 해를 놓치지 않도록 보장하기 위해 패턴 지지도에 어떤 이론적 보장을 제공할 수 있는가?
• RQ4 실세계 데이터셋에서 OA 모델은 탐욕적 규칙 유도 및 블랙박스 모델에 비해 성능 및 해석 가능성 측면에서 어떻게 비교되는가?
• RQ5 학습 과정에 맞춤형 제약 조건을 얼마나 통합할 수 있는가? 이는 도메인 특화 해석 가능성 향상에 기여하는가?

주요 결과

• 순수 범주형 UCI 데이터셋 4개(틱택토, 모운스, 발음, 유방암)에서 OA 모델은 100% 정확도를 달성하여 정확한 논리 규칙을 복원할 수 있음을 입증했다.
• 심장병 및 투석 데이터셋과 같은 수치형 및 혼합형 데이터셋에서 OA 모델은 경쟁력 있는 정확도를 기록했으며, 평균 검증 정확도는 각각 0.86과 0.80을 기록했고, 다른 해석 가능한 모델을 능가했다.
• OOAx 프레임워크는 계산 시간을 크게 단축시키면서도 거의 최적의 성능를 달성하여 대규모 응용 분야에서 실용적이게 되었다.
• 은행지폐 데이터셋에서 OA 모델은 단 한 개의 패턴만으로도 100% 정확도를 달성하여, 최소한의 복잡성으로도 핵심 의사결정 경계를 정확히 포착할 수 있음을 보여주었다.
• 기존의 규칙 유도 기법(CMAR, CPAR 등)이 수백 개의 규칙을 생성하는 데 비해, 이 방법은 훨씬 더 희박하고 해석 가능한 대안을 제공했다.
• MIP/ILP 프레임워크의 가변성 덕분에 도메인 특화 제약 조건을 통합할 수 있으며, 이는 히وري스틱 기반 방법에 비해 유일한 장점이다.