[논문 리뷰] Learning Interpretable Decision Rule Sets: A Submodular Optimization Approach

Fan Yang, Kai He외 5명|arXiv (Cornell University)|2022. 06. 08.

Rough Sets and Fuzzy Logic참고 문헌 30인용 수 10

한 줄 요약

이 논문은 규칙 집합 학습을 정규화된 하위모듈러 최적화 문제로 포지셔닝하여 해석 가능한 의사결정 규칙 집합을 학습하기 위한 하위모듈러 최적화 프레임워크를 제안한다. 규칙 구성의 NP-완전 문제를 해결하기 위해 근사적인 반복적 국소 탐색 알고리즘을 도입하여, 정확한 하위문제 해결에 이론적 보장을 부여하면서도 실제 데이터셋에서 높은 예측 성능과 해석 가능성을 달성한다.

ABSTRACT

Rule sets are highly interpretable logical models in which the predicates for decision are expressed in disjunctive normal form (DNF, OR-of-ANDs), or, equivalently, the overall model comprises an unordered collection of if-then decision rules. In this paper, we consider a submodular optimization based approach for learning rule sets. The learning problem is framed as a subset selection task in which a subset of all possible rules needs to be selected to form an accurate and interpretable rule set. We employ an objective function that exhibits submodularity and thus is amenable to submodular optimization techniques. To overcome the difficulty arose from dealing with the exponential-sized ground set of rules, the subproblem of searching a rule is casted as another subset selection task that asks for a subset of features. We show it is possible to write the induced objective function for the subproblem as a difference of two submodular (DS) functions to make it approximately solvable by DS optimization algorithms. Overall, the proposed approach is simple, scalable, and likely to be benefited from further research on submodular optimization. Experiments on real datasets demonstrate the effectiveness of our method.

연구 동기 및 목표

• 정확성과 해석 가능성의 균형을 이룬 전역 최적의 해석 가능한 규칙 집합 학습 방법을 개발하기 위해.
• 지수적으로 큰 규칙 공간에서 고품질의 규칙을 효율적으로 선택하는 데 도전하기 위해.
• 규칙 구성 문제를 하위모듈러 최적화에 적합한 하위문제로 포지셔닝하고 근사 보장을 제공하기 위해.
• 정확한 하위문제 해결이 비현실적인 대규모 데이터셋에 대해 효율적인 근사 알고리즘을 설계하기 위해.
• 최신 규칙 학습 알고리즘들과의 경쟁력을 실증적으로 검증하기 위해.

제안 방법

• 주 학습 문제를 모든 가능한 규칙의 기본 집합 위에서 정규화된 하위모듈러 최대화 문제로 모델링한다.
• 새로운 규칙를 위한 특징 선택의 하위문제를 두 개의 하위모듈러 함수의 차분으로 표현할 수 있는 목적 함수를 갖는 부분집합 선택 문제로 포지셔닝한다 (DS 분해).
• 고차원 데이터에 대한 확장성을 확보하기 위해, 하위문제를 근사적으로 해결하기 위한 반복적 국소 조합 탐색 알고리즘을 제안한다.
• 하위문제가 정확히 해결될 경우 근사 보장을 갖는 군중적 전진 선택 전략을 외부 루프에서 사용한다.
• 정확한 하위문제 해결을 위해 저차원 설정에서 맞춤형 분할 및 경계(BnB) 절차를 사용하여 근사 품질을 평가한다.
• 기본 분류기의 신뢰도 점수를 필요로 하지 않는 모델에 종속적이지 않은 일대일(OvO) 감소 기법을 통해 다중분류를 지원한다.

실험 결과

연구 질문

• RQ1 표본 데이터에서 정확하고 해석 가능한 규칙 집합을 학습하기 위해 하위모듈러 최적화를 효과적으로 적용할 수 있는가?
• RQ2 규칙 구성의 NP-완전 문제를 이론적 보장을 유지하면서 효율적으로 근사화할 수 있는가?
• RQ3 제안된 하위문제 근사 솔버가 실질적으로 정확한 해결과 비교해 경쟁력을 유지하는가?
• RQ4 예측 정확성과 해석 가능성 측면에서 최신 규칙 학습 알고리즘들과 비교해 본 결과, 본 방법은 어떤가?
• RQ5 기본 분류기의 신뢰도 점수가 필요 없이 다중분류에 프레임워크를 확장할 수 있는가?

주요 결과

• 제안된 방법은 20개의 실제 세계 데이터셋에서 최신 규칙 학습 알고리즘들과 경쟁하는 예측 성능을 달성한다.
• 9개의 저차원 데이터셋에서 근사 하위문제 솔버는 정확한 BnB 해결과 비교해 상대 오차가 1% 미만으로 나타나 뛰어난 근사 품질을 보였다.
• 저차원 데이터셋 중 5개에서 근사 및 정확한 하위문제 솔버가 동일한 규칙 집합을 생성하여 일관성을 입증했다.
• 하위문제의 차원이 증가함에 따라 근사 솔루션과 정확한 솔루션 간의 상대 오차가 증가하지 않아, 근사 방법의 강건성을 시사한다.
• 블랙박스 모델보다 인간이 쉽게 감시하고 진단할 수 있는 간결하고 해석 가능한 규칙 집합을 학습함으로써 강력한 해석 가능성을 유지한다.
• 실증 결과에 따르면, 근사 하위문제 해결이 이론적 근사 보장을 깨뜨리더라도 최종 규칙 집합의 성능이 반드시 떨어지지 않음을 확인했다.