[논문 리뷰] UBL: an R package for Utility-based Learning

Paula Branco, Rita P. Ribeiro외 1명|arXiv (Cornell University)|2016. 04. 27.

Imbalanced Data Classification Techniques참고 문헌 10인용 수 24

한 줄 요약

이 논문은 비균형 비용 또는 이익이 존재하는 분류 및 회귀 문제를 다루기 위해 사전 처리 기법(예: 집중적 언더샘플링 및 합성 오버샘플링)을 적용하여 유틸리티 기반 학습을 가능하게 하는 UBL R 패키지를 소개한다. 이 패키지는 사용자 지정 및 자동으로 유추된 선호도 편향을 모두 지원하여 다중 클래스 및 회귀 작업을 처리하며, 도메인 특화 유틸리티에 따라 데이터 분포를 재가중함으로써 비균형 도메인에서 모델 성능을 향상시킨다.

ABSTRACT

This document describes the R package UBL that allows the use of several methods for handling utility-based learning problems. Classification and regression problems that assume non-uniform costs and/or benefits pose serious challenges to predictive analytic tasks. In the context of meteorology, finance, medicine, ecology, among many other, specific domain information concerning the preference bias of the users must be taken into account to enhance the models predictive performance. To deal with this problem, a large number of techniques was proposed by the research community for both classification and regression tasks. The main goal of UBL package is to facilitate the utility-based predictive analytic task by providing a set of methods to deal with this type of problems in the R environment. It is a versatile tool that provides mechanisms to handle both regression and classification (binary and multiclass) tasks. Moreover, UBL package allows the user to specify his domain preferences, but it also provides some automatic methods that try to infer those preference bias from the domain, considering some common known settings.

연구 동기 및 목표

• 금융, 의학, 기상학과 같이 예측 오류의 비용 또는 이익이 비균일한 분야에서의 예측 모델링 과제를 해결한다.
• 이용자 지정 및 유틸리티 기반 선호도를 갖춘 분류(이元 및 다중 클래스) 및 회귀 문제를 다룰 수 있는 유연한 프레임워크를 제공한다.
• 사용자가 도메인 선호도를 수동으로 지정하거나 데이터 분포에서 선호도 편향을 자동으로 유추할 수 있도록 하여, 특히 비균형 설정에서 성능을 향상시킨다.
• 목표 변수에 다수의 중요한 영역이 존재하는 다중 클래스 및 회귀 작업으로 기존의 이원 분류 방법을 확장한다.
• 표준 학습 알고리즘의 사용을 가능하게 하기 위해 사전 처리를 통해 데이터 분포를 수정함으로써 모델의 해석 가능성과 호환성을 유지한다.

제안 방법

• 사용자 선호도에 따라 데이터 분포를 조정하기 위해 언더샘플링(무작위 또는 집중적) 및 오버샘플링(복제 또는 합성 생성) 등의 사전 처리 전략을 구현한다.
• HEOM 및 HVDM과 같은 거리 함수를 사용하여 인스턴스 간 유사도를 계산하며, 혼합형 수치형 및 명목형 특성에 대응한다.
• 명목형 특성에 대해 정규화된 VDM을, 수치형 특성에 대해 정규화된 차이를 사용하고, 표준편차를 이용해 스케일링한다.
• 샘플링 파라미터(예: 클래스 가중치, 샘플링 비율)의 수동 지정과 데이터 불균형에서 기반된 선호도 편향의 자동 추정을 모두 지원한다.
• SMOTE, NCL, Tomek 링크와 같은 방법을 사용자 정의 가능한 거리 메트릭과 통합하여 소수 클래스 또는 고유틸리티 클래스를 재가중한다.
• 사전 처리 후 어떤 표준 학습 알고리즘도 사용할 수 있도록 하여, 모델의 해석 가능성과 호환성을 유지한다.

실험 결과

연구 질문

• RQ1 비균일한 비용 또는 이익이 존재하는 다중 클래스 분류 및 회귀 문제에 유틸리티 기반 학습을 효과적으로 적용할 수 있는 방법은 무엇인가?
• RQ2 도메인 특화 선호도 편향이 존재하지만 공식적으로 정량화되어 있지 않은 경우, 어떤 사전 처리 전략이 모델 성능을 가장 잘 향상시키는가?
• RQ3 사용자 입력 없이도 비균형 데이터에서 최적의 샘플링 분포를 자동으로 유추할 수 있는 정도는 어느 정도인가?
• RQ4 다양한 유형의 데이터에서 합성 샘플링 기법의 성능에 영향을 미치는 거리 함수(예: HEOM, HVDM)의 차이는 무엇인가?
• RQ5 데이터 분포를 수정하는 사전 처리 방법은 고유틸리티 타겟 영역에서 성능을 향상시키면서도 모델의 해석 가능성 유지가 가능한가?

주요 결과

• UBL 패키지는 목표 변수에 다수의 중요한 영역이 존재하는 다중 클래스 분류 및 회귀 작업으로 유틸리티 기반 학습 방법을 성공적으로 확장하였다.
• HVDM 거리와 함께 사용된 SMOTE, NCL, Tomek 링크와 같은 사전 처리 전략은 고유틸리티 클래스나 영역에 집중함으로써 비균형 데이터에서 모델 성능을 향상시켰다.
• UBL의 자동 방법은 데이터 불균형에서 선호도 편향을 유추하며, 소수 클래스 또는 영역이 가장 중요하다고 가정하고 이를 기반으로 샘플링을 조정한다.
• 명목형 특성에 대해 정규화된 VDM, 수치형 특성에 대해 정규화된 차이를 사용한 HVDM 거리의 사용은 혼합형 데이터셋에서의 유사도 측정을 향상시켰다.
• HVDM 및 SMOTE와 같은 거리 함수를 사용한 UBL 적용은 시뮬레이션 및 실세계 데이터 예제를 통해 개선된 예측 성능을 입증하였다.
• 패키지는 사전 처리 후 표준 학습 알고리즘의 사용을 가능하게 하여, 유틸리티 기반 성능 향상과 함께 모델의 해석 가능성 유지가 가능하다.