[논문 리뷰] Data-driven preference learning methods for value-driven multiple criteria sorting with interacting criteria

Jiapeng Liu, Miłosz Kadziński외 2명|arXiv (Cornell University)|2019. 05. 21.

Multi-Criteria Decision Making인용 수 6

한 줄 요약

이 논문은 상호작용하는 기준을 가진 다기준 정렬을 위한 데이터 기반 선호 학습 방법을 제안한다. 추가적인 조각별 선형 가치 함수에 상호작용 성분을 통합한 볼록 2차 프로그래밍 모델을 기반으로 하며, 과적합 방지를 위한 정규화를 통합하고 대규모 데이터셋을 효율적으로 처리함으로써 높은 예측 성능과 해석 가능성 확보를 달성한다. UTADIS 및 코크레트 적분 기반 모델보다 정확성과 강건성 면에서 뛰어난 성능을 발휘한다.

ABSTRACT

The learning of predictive models for data-driven decision support has been a prevalent topic in many fields. However, construction of models that would capture interactions among input variables is a challenging task. In this paper, we present a new preference learning approach for multiple criteria sorting with potentially interacting criteria. It employs an additive piecewise-linear value function as the basic preference model, which is augmented with components for handling the interactions. To construct such a model from a given set of assignment examples concerning reference alternatives, we develop a convex quadratic programming model. Since its complexity does not depend on the number of training samples, the proposed approach is capable for dealing with data-intensive tasks. To improve the generalization of the constructed model on new instances and to overcome the problem of over-fitting, we employ the regularization techniques. We also propose a few novel methods for classifying non-reference alternatives in order to enhance the applicability of our approach to different datasets. The practical usefulness of the proposed method is demonstrated on a problem of parametric evaluation of research units, whereas its predictive performance is studied on several monotone learning datasets. The experimental results indicate that our approach compares favourably with the classical UTADIS method and the Choquet integral-based sorting model.

연구 동기 및 목표

• 선호 학습 과정에서 활동적 의사결정자(DM)의 참여 없이도 기준 간 상호작용을 효과적으로 포착할 수 있는 데이터 기반의 다기준 정렬 접근법을 개발하는 것.
• 해석 가능성 확보를 위해 추가적인 조각별 선형 가치 함수를 사용하면서도 상호작용 모델링을 통해 예측 능력을 향상시키는 것.
• 선호 학습 과정에 정규화 기법을 통합하여 일반화 능력을 향상시키고 과적합을 방지하는 것.
• 학습 샘플 수에 독립적인 복잡도를 갖는 최적화 모델을 제안함으로써 대규모 데이터셋의 효율적 처리를 가능하게 하는 것.
• 실제 응용 사례로 연구 기관의 파arametric 평가를 수행하고 단조성 학습 데이터셋에서의 벤치마킹을 통해 실용적 적용 가능성을 입증하는 것.

제안 방법

• 핵심 선호 모델은 선호 독립성 하에서 정의된 추가적인 조각별 선형 가치 함수에 기반하며, 기준 간 양성 및 음성 상호작용을 모델링하기 위한 성분을 추가로 통합한다.
• 참고 대상의 할당 예시로부터 선호 모델을 학습하기 위해 볼록 2차 프로그래밍 모델을 설정함으로써 전역 최적성과 확장성을 확보한다.
• 일반화 능력 향상과 새로운 인스턴스에 대한 과적합 감소를 위해 최적화 목표 함수에 정규화 항을 통합한다.
• 모델의 복잡도는 학습 샘플 수에 영향을 받지 않아 데이터 집약적 응용 분야에서의 효율적 처리를 가능하게 한다.
• 유연한 구성 요소 선택이 가능한 프레임워크를 제안하며, 이는 상호작용 모델링 변형 및 비기준 대상에 대한 정렬 전략을 포함한다.
• 기준에 대한 단조성 제약 조건을 지원하여, 어떤 기준에서의 성능 향상도 더 우수한 클래스 할당으로 이어지도록 보장한다.

실험 결과

연구 질문

• RQ1 데이터 기반 선호 학습 방법이 기준 간 상호작용을 효과적으로 모델링하면서도 해석 가능성을 유지할 수 있는가?
• RQ2 정규화 기법이 대규모 정렬 작업에서 선호 모델의 일반화 성능을 어떻게 향상시킬 수 있는가?
• RQ3 기존의 UTADIS 및 코크레트 적분 기반 모델과 비교해 본다면, 제안된 방법이 정확성과 강건성 면에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 샘플 수에 독립적인 복잡도 덕분에 제안된 모델이 데이터 집약적 정렬 문제를 효율적으로 처리할 수 있는가?
• RQ5 조각별 선형 마진 가치 함수와 상호작용 성분의 통합이 해석 가능성 손실 없이 피팅 능력을 어떻게 향상시키는가?

주요 결과

• 제안된 방법은 여러 단조성 학습 데이터셋에서 UTADIS 및 코크레트 적분 기반 모델보다 뛰어난 예측 성능을 달성했으며, 정확성과 강건성 면에서 일관된 향상을 보였다.
• 효과적인 정규화 덕분에 새로운 인스턴스에 대한 일반화 능력이 뛰어나, 성능 척도가 서로 다른 하위 간격으로 나뉘어져도 과적합이 감소했다.
• 실험 결과를 통해 최적화 모델의 복잡도가 학습 샘플 수에 영향을 받지 않음을 확인했으며, 이는 대규모 데이터셋의 효율적 처리를 가능하게 했다.
• 실제 연구 기관의 파arametric 평가에서, 제안된 방법은 해석 가능하고 직관적으로 타당한 클래스 할당을 도출했으며, 실용적 적용 가능성을 확인했다.
• 상호작용 성분의 통합으로 인해 모델 피팅 능력과 예측 능력이 크게 향상되었으며, 특히 기준 간 복잡한 상호의존성이 존재하는 경우에 두드러진 성능 향상을 보였다.
• ESL, MMG, ERA, LEV, CEV를 포함한 모든 테스트 데이터셋에서 기준 모델 대비 높은 정확도와 안정성, 낮은 예측 오차를 기록하며 뛰어난 성능을 발휘했다.