[논문 리뷰] Combining Human Predictions with Model Probabilities via Confusion Matrices and Calibration

Gavin Kerrigan, Padhraic Smyth외 1명|arXiv (Cornell University)|2021. 09. 29.

Machine Learning and Algorithms참고 문헌 8인용 수 7

한 줄 요약

이 논문은 혼동 행렬과 校정 기법을 사용하여 인간의 분류 레이블을 모델의 확률 출력과 융합하는 새로운 방법을 제안하며, 인간 또는 모델 각각보다 정확도와 校정 성능을 크게 향상시킨다. 이 방법은 최소한의 레이블 데이터(최소 10개 예시)만을 요구하며, CIFAR-10H 및 ImageNet-16H 데이터셋에서 일관된 성능 향상을 보였다.

ABSTRACT

An increasingly common use case for machine learning models is augmenting the abilities of human decision makers. For classification tasks where neither the human or model are perfectly accurate, a key step in obtaining high performance is combining their individual predictions in a manner that leverages their relative strengths. In this work, we develop a set of algorithms that combine the probabilistic output of a model with the class-level output of a human. We show theoretically that the accuracy of our combination model is driven not only by the individual human and model accuracies, but also by the model's confidence. Empirical results on image classification with CIFAR-10 and a subset of ImageNet demonstrate that such human-model combinations consistently have higher accuracies than the model or human alone, and that the parameters of the combination method can be estimated effectively with as few as ten labeled datapoints.

연구 동기 및 목표

• 다중 분류 작업에서 인간의 예측(클래스 수준 레이블)과 기계 학습 모델의 확률 출력을 실용적이고 레이블 효율적으로 융합하는 방법을 개발하는 것.
• 인간과 모델의 상보적인 오류 패tern을 활용하여 분류 정확도와 校정 성능을 향상시키는 것.
• 모델의 신뢰도와 인간의 오류 다양성이 융합 성능에 미치는 영향을 이론적·실험적으로 분석하는 것.
• 한 당사자(인간 또는 모델)가 개별적으로 정확도가 떨어지더라도 효과적인 인간-기계 협업을 가능하게 하는 것.
• 최소한의 레이블 데이터(예: 10개 예시)로도 효과적으로 작동하는 프레임워크를 제공하는 것.

제안 방법

• 잠재적 진실 레이블을 기반으로 한 공동 확률적 프레임워크를 사용하여 인간의 혼동 행렬과 모델의 校정 파라미터를 모델링한다.
• 레이블 없이도 모델의 확률 출력과 인간의 레이블을 포함한 데이터에서, EM 알고리즘을 활용해 모델의 校정 및 인간의 혼동 파라미터를 추정한다.
• E단계는 인간 레이블과 모델 출력을 바탕으로 한 진실 레이블의 사후 확률을 계산하고, M단계는 최대우도 또는 MAP 추정을 통해 파라미터를 업데이트한다.
• 혼동 행렬의 경우 기대 인간 레이블 분포를 바탕으로 폐쇄형 해를 사용하고, 모델 校정의 경우 기울기 기반 최적화를 적용한다.
• 로지스틱 회귀, 혼동 행렬 전용(SP), 완전 베이지안 P+L 방법 등 다양한 추정 전략을 지원한다.
• 특히 낮은 데이터 환경에서의 안정성을 확보하기 위해 Dirichlet 사전을 통합한다.

실험 결과

연구 질문

• RQ1 인간의 클래스 수준 예측과 모델의 확률적 출력을 융합하면, 개별적으로 인간 또는 모델보다 더 높은 정확도를 달성할 수 있는가?
• RQ2 모델의 校정 성능과 인간의 혼동 행렬 특성이 융합 시스템의 성능에 어떻게 공동으로 영향을 미치는가?
• RQ3 조합 모델을 효과적으로 훈련하기 위해 필요한 최소한의 레이블 데이터는 얼마인가?
• RQ4 모델의 신뢰도 차이와 인간의 오류 패턴 차이가 최종 예측 정확도와 校정 성능에 어떤 영향을 미치는가?
• RQ5 모델이 개별적으로 정확도가 떨어지더라도, 융합 방법이 인간과 모델 둘 다를 초월할 수 있는가?

주요 결과

• CIFAR-10H에서 인간-기계 융합은 평균 오류율 2.85%를 기록하여, 인간(4.62%)과 모델(6.10%) 각각보다 높은 성능을 달성했다.
• ImageNet-16H에서는 융합 방법이 오류율을 6.62%로 줄였고, 인간은 9.99%, 모델은 11.1%였다.
• P+L(완전 베이지안) 방법은 대부분의 설정에서 가장 낮은 오류율을 기록했지만, 더 많은 데이터와 계산 자원이 필요했다.
• SP 방법은 레이블 효율성은 높지만, 일반적으로 과소적합을 일으켜 특히 데이터가 제한적일 경우 P+L보다 성능이 열 劣했다.
• 로지스틱 회귀 방법은 CIFAR-10H에서는 레이블 효율성이 떨어졌지만, 수백 개의 레이블 예시로 훈련했을 경우 ImageNet-16H에서 P+L를 초월했다.
• 이 방법은 최소 10개의 레이블 데이터 포인트만으로도 뚜렷한 성능 향상을 달성하여 강력한 레이블 효율성을 입증했다.