[논문 리뷰] Infusing domain knowledge in AI-based "black box" models for better explainability with application in bankruptcy prediction

Sheikh Rabiul Islam, William Eberle외 2명|arXiv (Cornell University)|2019. 05. 27.

Financial Distress and Bankruptcy Prediction참고 문헌 55인용 수 23

한 줄 요약

이 논문은 금융 분야에서의 파산 예측에 사용되는 AI 기반 '블랙박스' 모델의 설명 가능성을 향상시키기 위해 도메인 지식—특히 알려진 '신용의 5C'—을 모델의 의사결정 과정에 통합하는 방법을 제안한다. 가중치 합 공식을 사용해 모델 출력을 해석 가능한 특성 기반 기여도로 변환함으로써, 예측 성능을 희생시키지 않은 채 투명성을 높이는 것으로, 규제가 엄격한 분야인 금융 분야에 실용적인 해결책을 제공한다.

ABSTRACT

Although "black box" models such as Artificial Neural Networks, Support Vector Machines, and Ensemble Approaches continue to show superior performance in many disciplines, their adoption in the sensitive disciplines (e.g., finance, healthcare) is questionable due to the lack of interpretability and explainability of the model. In fact, future adoption of "black box" models is difficult because of the recent rule of "right of explanation" by the European Union where a user can ask for an explanation behind an algorithmic decision, and the newly proposed bill by the US government, the "Algorithmic Accountability Act", which would require companies to assess their machine learning systems for bias and discrimination and take corrective measures. Top Bankruptcy Prediction Models are A.I.-based and are in need of better explainability -the extent to which the internal working mechanisms of an AI system can be explained in human terms. Although explainable artificial intelligence is an emerging field of research, infusing domain knowledge for better explainability might be a possible solution. In this work, we demonstrate a way to collect and infuse domain knowledge into a "black box" model for bankruptcy prediction. Our understanding from the experiments reveals that infused domain knowledge makes the output from the black box model more interpretable and explainable.

연구 동기 및 목표

• 금융 및 의료와 같은 고위험 분야에서 사용되는 AI 기반 '블랙박스' 모델의 설명 불가능성 문제를 해결하기 위해.
• 예를 들어 '신용의 5C'와 같은 기존의 도메인 지식을 AI 모델에 통합하여 모델의 해석 가능성을 향상시키기 위해.
• 모델 예측을 해석 가능한 도메인 특화 특성의 기여도로 표현하는 방법을 개발하기 위해.
• 유럽연합의 '설명의 권리' 및 미국의 알고리즘 책임법과 같은 신규 규제 요구사항을 충족하기 위해.
• 다양한 데이터셋에서 접근법을 검증하고, 사이버보안 및 의료와 같은 다른 분야로의 적용 가능성을 확장하기 위해.

제안 방법

• 금융 문헌에서 도메인 지식을 수집하고 체계화하며, 특히 '신용의 5C'(성격, 상환 능력, 자본, 담보, 조건)를 중심으로 한다.
• 도메인 개념을 모델의 특성에 매핑하고 빈도가 높은 특성을 해석 가능한 고수준 카테고리로 일반화한다.
• 기여도 공식을 사용: P(D) = Σ contribution(g), 여기서 g는 일반화된 빈도 특성들을 나타낸다. 이는 총 위험 확률를 특성 기여도의 합으로 표현한다.
• SHAP, LIME, ELI5와 같은 사후 설명 기법을 사용해 샘플 기반 특성 중요도를 추정하지만, 일반성과 범위에 한계가 있음을 인식한다.
• 도메인 개념을 모델 해석에 통합하여 설명이 인간이 이해할 수 있는 금융적 추론과 일치하도록 보장한다.
• 도메인 지식 통합과 모델에 종속되지 않는 설명 도구를 조합한 하이브리드 접근법을 사용해 해석 가능성과 성능의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 신용의 5C와 같은 도메인 지식이 '블랙박스' AI 모델에 효과적으로 통합되어 파산 예측의 설명 가능성을 향상시킬 수 있는가?
• RQ2 예측 성능을 훼손하지 않으면서도 모델 출력을 해석 가능한 도메인 특화 특성의 기여도로 분해할 수 있는가?
• RQ3 도메인 개념을 통합함으로써 인간의 신뢰도와 AI 기반 금융 결정의 투명도는 어느 정도 향상되는가?
• RQ4 제안된 방법은 금융 외의 다른 데이터셋과 분야—예를 들어 사이버보안 또는 의료—로 일반화될 수 있는가?
• RQ5 도메인 지식 통합을 사용할 경우 모델 성능와 해석 가능성 사이의 상충 관계는 어떠한가?

주요 결과

• 신용의 5C와 같은 도메인 지식을 '블랙박스' 모델에 통합함으로써 파산 예측의 해석 가능성과 설명 가능성이 크게 향상된다.
• 모델 출력은 일반화된 빈도 특성의 기여도의 합으로 표현될 수 있으며, 이는 위험 요인의 투명한 분해를 가능하게 한다.
• 모델 결정이 인간 이해 가능한 방식으로 해석 가능해지면서도 높은 예측 성능를 유지한다.
• SHAP 및 LIME과 같은 사후 설명 도구는 유용하지만 범위에 한계가 있다. 도메인 개념 통합은 더 강력하고 일관된 설명 프레임워크를 제공한다.
• EU의 '설명의 권리' 및 미국의 알고리즘 책임법과 같은 규제 요구사항을 충족시키기 위해 감사 가능하고 인간이 읽을 수 있는 설명을 제공함으로써, 이 방법은 규제 준수를 가능하게 한다.
• 향후 연구는 샘플 기반 특성 기여도 추정 최적화와 사이버보안 및 의료와 같은 다른 분야로의 방법 확장 가능성을 보여주며, 잠재력이 크다.