[논문 리뷰] A hybrid machine learning framework for analyzing human decision making through learning preferences

Mengzhuo Guo, Qingpeng Zhang외 3명|arXiv (Cornell University)|2019. 06. 04.

Multi-Criteria Decision Making참고 문헌 59인용 수 7

한 줄 요약

이 논문은 예측 성능와 해석 가능성 사이의 균형을 이루기 위해 다항식 기반의 덧셈가치모형과 다층퍼셉트론을 통합한 하이브리드 기계학습 프레임워크인 NN-MCDA를 제안한다. 개별 속성에 대한 마진널 가치함수를 명시적으로 모델링하고 딥러닝을 통해 복잡한 비선형 상호작용을 포착함으로써, NN-MCDA는 실제 데이터셋에서 뛰어난 성능을 달성하면서도 속성 기여도에 대한 투명하고 해석 가능한 통찰을 제공한다.

ABSTRACT

Machine learning has recently been widely adopted to address the managerial decision making problems, in which the decision maker needs to be able to interpret the contributions of individual attributes in an explicit form. However, there is a trade-off between performance and interpretability. Full complexity models are non-traceable black-box, whereas classic interpretable models are usually simplified with lower accuracy. This trade-off limits the application of state-of-the-art machine learning models in management problems, which requires high prediction performance, as well as the understanding of individual attributes' contributions to the model outcome. Multiple criteria decision aiding (MCDA) is a family of analytic approaches to depicting the rationale of human decision. It is also limited by strong assumptions. To meet the decision maker's demand for more interpretable machine learning models, we propose a novel hybrid method, namely Neural Network-based Multiple Criteria Decision Aiding, which combines an additive value model and a fully-connected multilayer perceptron (MLP) to achieve good performance while capturing the explicit relationships between individual attributes and the prediction. NN-MCDA has a linear component to characterize such relationships through providing explicit marginal value functions, and a nonlinear component to capture the implicit high-order interactions between attributes and their complex nonlinear transformations. We demonstrate the effectiveness of NN-MCDA with extensive simulation studies and three real-world datasets. To the best of our knowledge, this research is the first to enhance the interpretability of machine learning models with MCDA techniques. The proposed framework also sheds light on how to use machine learning techniques to free MCDA from strong assumptions.

연구 동기 및 목표

• 기계학습을 통한 관리적 의사결정에서 모델 성능와 해석 가능성 사이의 상충관계를 해결한다.
• 딥러닝 기반의 블랙박스 모델(예: 신경망)과 과도하게 단순화된 해석 가능한 모델(예: 로지스틱 회귀)의 한계를 극복하여 복잡한 속성 간 상호작용을 포착한다.
• 다양한 기준 의사결정보조(MCDA) 기법을 딥러닝과 융합하여 예측 정확도를 희생시키지 않은 채 해석 가능성을 향상시킨다.
• 명시적인 마진널 가치함수를 통해 의사결정자가 개별 속성 기여도를 이해하고 검증할 수 있도록 한다.
• 기계학습을 활용해 데이터 기반의 유연한 모델링을 통해 MCDA의 강력한 가정(예: 선호도 독립성)을 벗어나도록 한다.

제안 방법

• 개별 속성의 마진널 가치 기여도를 모델링하기 위해 다항함수 기반의 선형 덧셈 성분을 제안한다.
• 완전연결형 다층퍼셉트론(MLP)을 사용한 비선형 성분을 통합하여 고차원 상호작용과 복잡한 비선형 변환을 포착한다.
• 최종 출력을 가중합으로 설정: 전반적 유틸리티 = α × 선형 성분 + (1−α) × 비선형 성분으로, 성능와 해석 가능성 간의 트레이드오프 제어를 가능하게 한다.
• 선형 성분에서 다항함수를 사용하여 각 속성이 결과에 미치는 영향을 명시적으로 표현함으로써 해석 가능성을 확보한다.
• 백프로파게이션을 사용해 엔드 투 엔드로 모델을 훈련하며, 선형 성분은 해석 가능성을 유지하기 위해 덧셈 구조를 유지하도록 제약을 둔다.
• MLP에서 활성화 함수(예: 시그모이드)를 적용하여 비선형 표현 학습을 가능하게 하면서도 전체 하이브리드 구조를 유지한다.

실험 결과

연구 질문

• RQ1 해석 가능한 덧셈가치함수와 딥뉴럴넷을 융합한 하이브리드 모델이 단독 모델보다 성능와 해석 가능성의 트레이드오프를 더 잘 달성할 수 있는가?
• RQ2 다항식 기반의 마진널 가치함수는 복잡한 비선형 속성 기여도를 얼마나 잘 포착하면서도 여전히 해석 가능성을 유지할 수 있는가?
• RQ3 MLP 성분이 포착하는 고차원 속성 간 상호작용은 순수 선형 또는 덧셈 모델 대비 예측 정확도를 얼마나 향상시키는가?
• RQ4 데이터 기반 학습을 통해 MCDA의 강력한 가정(예: 선호도 독립성)에 대한 의존도를 줄일 수 있는가?
• RQ5 다양한 복잡도를 가진 데이터셋에서 모델의 성능는 어떻게 변하는가? 고차원 또는 비선형 데이터에서 해석 가능성은 유지되는가?

주요 결과

• NN-MCDA는 복잡한 데이터셋에서 순수 해석 가능한 모델보다 예측 성능와 해석 가능성 사이의 균형을 더 잘 달성한다.
• 고차수 다항식이 항상 정확도를 향상시키는 것은 아니며, 이는 덧셈 성분에서의 모델 사양 설정에 신중함이 필요함을 시사한다.
• 간단한 데이터셋에서는 NN-MCDA가 전통적인 해석 가능한 모델과 유사한 성능를 보였지만, 복잡하고 비선형적인 데이터에서는 그 성능가 훨씬 뛰어나다.
• 이 프레임워크는 마진널 가치함수를 통해 개별 속성의 상세하고 명시적인 기여도를 성공적으로 포착하여 도메인 전문가가 모델 통찰을 검증하고 개선할 수 있도록 한다.
• 비선형 성분은 고차원 상호작용을 효과적으로 모델링하며, 인간의 의사결정을 포함한 실제 데이터셋에서의 성능 향상으로 이를 입증했다.
• 세 개의 실제 데이터셋에 대한 실증 결과는 NN-MCDA가 높은 예측 정확도를 유지하면서도 속성 영향의 투명하고 추적 가능한 설명을 제공함을 확인한다.