[논문 리뷰] Recommending Multiple Criteria Decision Analysis Methods with A New Taxonomy-based Decision Support System

Marco Cinelli, Miłosz Kadziński외 3명|arXiv (Cornell University)|2021. 06. 08.

Multi-Criteria Decision Making인용 수 4

한 줄 요약

이 논문은 복잡한 의사결정 문제를 위한 최적의 다기준 의사결정 분석(MCDA) 방법을 추천하는 새로운 계량 기반 의사결정 지원 시스템인 MCDA-MSS를 소개한다. 문제 정의, 선호도 도출, 선호도 모델링 기능을 고려해 200여 개의 MCDA 방법을 평가함으로써, 방법 선택 정확도를 향상시키고, 방법론적 오류를 줄이며, 부족한 문제 기술을 개선하는 데 도움을 주며, 다양한 사례 연구를 통해 검증되었다.

ABSTRACT

We present the Multiple Criteria Decision Analysis Methods Selection Software (MCDA-MSS). This decision support system helps analysts answering a recurring question in decision science: Which is the most suitable Multiple Criteria Decision Analysis method (or a subset of MCDA methods) that should be used for a given Decision-Making Problem (DMP)?. The MCDA-MSS includes guidance to lead decision-making processes and choose among an extensive collection (over 200) of MCDA methods. These are assessed according to an original comprehensive set of problem characteristics. The accounted features concern problem formulation, preference elicitation and types of preference information, desired features of a preference model, and construction of the decision recommendation. The applicability of the MCDA-MSS has been tested on several case studies. The MCDA-MSS includes the capabilities of (i) covering from very simple to very complex DMPs, (ii) offering recommendations for DMPs that do not match any method from the collection, (iii) helping analysts prioritize efforts for reducing gaps in the description of the DMPs, and (iv) unveiling methodological mistakes that occur in the selection of the methods. A community-wide initiative involving experts in MCDA methodology, analysts using these methods, and decision-makers receiving decision recommendations will contribute to expansion of the MCDA-MSS.

연구 동기 및 목표

• 주어진 의사결정 문제(DMP)에 가장 적합한 MCDA 방법을 선택하는 데 있어 반복적으로 발생하는 의사결정 과학 분야의 과제를 해결하기 위해.
• 세부적인 문제 특성에 기반해 200여 개 이상의 MCDA 방법을 추천할 수 있는 종합적인 의사결정 지원 시스템을 개발하기 위해.
• 분석가가 DMP 기술서의 부족한 점을 식별하고, 방법 적합성을 향리하기 위해 정보 개선의 우선순위를 정하는 데 도움을 주기 위해.
• 체계적인 평가를 통해 MCDA 방법 선택 시 발생할 수 있는 방법론적 오류를 탐지하고 방지하기 위해.
• MCDA 전문가, 실무자, 의사결정자들의 피드백을 통합함으로써 시스템의 확장성을 높이고 공동체 기반으로 발전시키기 위해.

제안 방법

• 문제 정의, 선호도 도출, 선호도 모델 기능, 추천 구성의 네 차원에 걸쳐 15개의 문제 특성 기반으로 새롭게 설계된 MCDA 방법의 분류 체계를 활용한다.
• DMP 속성과 방법의 능력 간의 매핑을 가능하게 하는 구조화된 의사결정 모델을 사용하여 자동으로 방법 추천을 수행한다.
• 입력 데이터 유형, 선호도 강도, 출력 형식 요구사항 등을 포함한 사전 정의된 기준과 DMP 사양을 비교함으로써 방법의 적용 가능성을 평가한다.
• 부족하거나 모호한 DMP 속성을 식별하고 우선순위별 개선 방안을 제안하는 갭 분 析 모듈을 포함한다.
• 호환성과 내구성 기준으로 메트릭을 평가하여 메서드를 순위 매기는 다기준 필터링 프로세스를 통합한 추천 엔진을 운영한다.
• 커뮤니티 기여와 방법 업데이트를 지원할 수 있는 확장 가능한 아키텍처를 갖춘 웹 기반 도구로 시스템을 구현한다.

실험 결과

연구 질문

• RQ1 문제의 구조적 특성과 선호도 관련 특성에 기반해 주어진 의사결정 문제에 가장 적합한 MCDA 방법은 무엇인가?
• RQ2 의사결정 지원 시스템은 부족하거나 모호한 문제 기술을 어떻게 효과적으로 개선하여 방법 선택의 정확도를 높일 수 있는가?
• RQ3 정확하고 확장 가능한 MCDA 방법 추천을 가능하게 하는 분류 체계의 핵심 특징은 무엇인가?
• RQ4 MCDA 선택 시 발생하는 방법론적 오류는 어떻게 체계적으로 탐지하고 방지할 수 있는가?
• RQ5 커뮤니티 피드백은 방법 추천 시스템의 커버리지와 신뢰성 향상에 어떤 역할을 할 수 있는가?

주요 결과

• MCDA-MSS는 단순한 문제부터 매우 복잡한 의사결정 문제에 이르기까지 다양한 사례 연구에 대해 적절한 MCDA 방법을 성공적으로 추천하였다.
• 시스템은 DMP 기술서에 누락되거나 일관되지 않은 정보를 식별하고 강조하여 사용자가 데이터 수집의 우선순위를 정하고 방법의 적합성을 향상시킬 수 있도록 한다.
• 시스템은 선호도 모델링 요구사항이 맞지 않는 등의 방법론적 일관성 문제를 탐지하여 잘못된 추천의 위험을 줄인다.
• 분류 체계 기반 접근법을 통해 200여 개 이상의 MCDA 방법을 체계적으로 다루어 광범위한 방법론적 커버리지를 확보한다.
• 메서드 컬렉션에 정확한 매칭이 없더라도, 대체 또는 하이브리드 접근 방식을 제안함으로써 메서드 추천의 내구성을 입증하였다.
• 커뮤니티 피드백 메커니즘이 시간이 지남에 따라 메서드 커버리지 확장과 시스템 정확도 향상에 효과적이라는 것이 입증되었다.