[논문 리뷰] Leveraging Uncertainty in Deep Learning for Selective Classification

Mehmet Yigit Yildirim, Mert Özer외 1명|arXiv (Cornell University)|2019. 05. 23.

Machine Learning and Algorithms참고 문헌 21인용 수 5

한 줄 요약

이 논문은 딥러닝에서 선택적 분류를 위한 혼합정수계획법(MIP) 프레임워크인 MIPSC를 제안하며, 다양한 데이터셋에서 기준선 대비 비거부 정확도와 거부 품질 모두에서 뚜렷한 성능 향상을 보이며, 온라인 사기 관리 분야에서 23% 높은 수익 증대를 달성하여 소매업체에 연간 약 200만 달러의 절감 효과를 가져다준다.

ABSTRACT

The wide and rapid adoption of deep learning by practitioners brought unintended consequences in many situations such as in the infamous case of Google Photos' racist image recognition algorithm; thus, necessitated the utilization of the quantified uncertainty for each prediction. There have been recent efforts towards quantifying uncertainty in conventional deep learning methods (e.g., dropout as Bayesian approximation); however, their optimal use in decision making is often overlooked and understudied. In this study, we propose a mixed-integer programming framework for classification with reject option (also known as selective classification), that investigates and combines model uncertainty and predictive mean to identify optimal classification and rejection regions. Our results indicate superior performance of our framework both in non-rejected accuracy and rejection quality on several publicly available datasets. Moreover, we extend our framework to cost-sensitive settings and show that our approach outperforms industry standard methods significantly for online fraud management in real-world settings.

연구 동기 및 목표

• 선택적 분류에서 모델 불확실성과 예측 평균을 동시에 활용한 최적의 의사결정 부족을 보완한다.
• 정해진 거부 용량 제약 조건 하에 최적의 분류 및 거부 영역을 식별하는 프레임워크를 개발한다.
• 실제 응용 분야인 온라인 사기 관리와 같은 비용 민감한 환경에 맞게 모델을 확장한다.
• 다양한 데이터셋과 다양한 기반 모델 성능 수준에서도 견고한 성능을 입증한다.
• 편의적 기준에 의존하지 않고 원칙적인 방법으로 거부 결정을 내려 히وري스틱 기준선을 능가하는 비결정론적 방법을 제공한다.

제안 방법

• 선택적 분류 문제를 혼합정수계획법(MIP) 문제로 재구성하여 불확실성과 예측 평균을 동시에 최적화한다.
• 딥 네ural 네트워크에서 베이지안 불확실성을 근사하기 위해 몬테카를로 드롭아웃을 사용한다.
• 예측 평균과 불확실성 점수를 MIP 목적함수에 통합하여 최적의 거부 및 분류 경계를 결정한다.
• 도메인 특화된 비용(예: 사기 손실, 고객 불편)을 가중치 수익 함수를 통해 통합한 MIPSC의 비용 민감한 확장판을 설계한다.
• 최적화 기법을 사용하여 MIP 수식을 해결함으로써 기대 수익을 최대화하는 거부 대상 인스턴스 집합을 식별한다.
• 대규모 환경에서의 계산 효율성을 향상시키기 위해 컬럼 생성 기법을 적용한다.

실험 결과

연구 질문

• RQ1 딥러닝에서 예측 불확실성과 예측 평균을 어떻게 통합하여 선택적 분류 결정을 향상시킬 수 있는가?
• RQ2 혼합정수계획법 프레임워크가 정성적 기준에 비해 정확도와 거부 품질 측면에서 더 나은 성능을 내는가?
• RQ3 MIPSC 프레임워크는 다양한 거부 용량 제약 조건과 다양한 기반 모델 성능 수준에서 어떻게 성능을 발휘하는가?
• RQ4 비용 민감한 확장판이 산업 표준 기준선 대비 실제 사기 관리 결과에 얼마나 기여하는가?
• RQ5 특히 사기 탐지와 같은 고위험 응용 분야에서 성능이 열 劣한 기본 모델에 대해서도 이 프레임워크는 견고한가?

주요 결과

• MIPSC는 온라인 사기 관리에서 모든 거부 용량 수준에서 기준선을 모두 능가하는 최고의 수익 증대를 지속적으로 달성한다.
• 디지털 상품 데이터셋에서 기반 DNN 모델의 성능이 단순 기준선보다 열 劣하더라도 MIPSC는 여전히 양의 수익 증대를 유지하며, 뛰어난 견고성을 입증한다.
• 위험 기반 기준(불확실성과 거래 금액의 단순 곱)은 MIPSC에 비해 일관되게 열 劣한 성능을 보이며, 최적화된 프레임워크의 필요성을 강조한다.
• MIPSC는 현재의 업계 표준 대비 최대 23% 높은 수익 증대를 달성하며, 이는 주간 약 40,570달러의 절감 효과와 연간 약 200만 달러의 수익 증가로 이어진다.
• 프레임워크는 예측 평균과 불확실성을 효과적으로 통합하여 두 성분이 최적의 거부 결정을 위해 상호 보완적이고 필수적임을 보여준다.
• MIPSC의 비용 민감한 확장판은 예시별 비용을 효과적으로 처리하며, 실제 환경에서 규칙 기반 및 히وري스틱 비용 민감한 기준선을 모두 능가한다.