[논문 리뷰] Expert load matters: operating networks at high accuracy and low manual effort

Sara Sangalli, Ertunç Erdil외 1명|arXiv (Cornell University)|2023. 08. 09.

Explainable Artificial Intelligence (XAI)Computer Science인용 수 3

한 줄 요약

이 논문은 모델의 캘리브레이션과 분포 외(OOD) 탐지 성능을 향상시키기 위해 영역 하부 곡선의 과신뢰도 곡선(AUCOC)을 최적화하는 새로운 손실 함수인 AUCOCL을 제안한다. 이는 최소한의 수동 조정으로 CIFAR100, Tiny-ImageNet, ImageNet에서 최신 기술 수준의 성능을 달성하며, 다양한 벤치마크에서 정확도와 OOD 탐지 성능을 향상시키고 하이퍼파rameter 튜닝에 대한 의존도를 감소시킨다.

ABSTRACT

In human-AI collaboration systems for critical applications, in order to ensure minimal error, users should set an operating point based on model confidence to determine when the decision should be delegated to human experts. Samples for which model confidence is lower than the operating point would be manually analysed by experts to avoid mistakes. Such systems can become truly useful only if they consider two aspects: models should be confident only for samples for which they are accurate, and the number of samples delegated to experts should be minimized. The latter aspect is especially crucial for applications where available expert time is limited and expensive, such as healthcare. The trade-off between the model accuracy and the number of samples delegated to experts can be represented by a curve that is similar to an ROC curve, which we refer to as confidence operating characteristic (COC) curve. In this paper, we argue that deep neural networks should be trained by taking into account both accuracy and expert load and, to that end, propose a new complementary loss function for classification that maximizes the area under this COC curve. This promotes simultaneously the increase in network accuracy and the reduction in number of samples delegated to humans. We perform experiments on multiple computer vision and medical image datasets for classification. Our results demonstrate that the proposed loss improves classification accuracy and delegates less number of decisions to experts, achieves better out-of-distribution samples detection and on par calibration performance compared to existing loss functions.

연구 동기 및 목표

• 수동 하이퍼파rameter 튜닝을 증가시키지 않고도 모델의 캘리브레이션 및 분포 외(OOD) 탐지 성능을 향상시키는 것.
• 모델 신뢰도 캘리브레이션을 반영하는 지표인 AUCOC를 직접 최적화하는 손실 함수를 개발하는 것.
• CIFAR100, Tiny-ImageNet, ImageNet을 포함한 다양한 데이터셋에서 AUCOCL의 효과성을 평가하는 것.
• 표준 교차 엔트로피(CE), 포칼 손실(FL), MMCE, S-AvUC, S-ECE, AUCOCL 등 기존 손실 함수들과의 비교를 통해 정확도 및 OOD 탐지 성능 측면에서 AUCOCL의 성능을 평가하는 것.
• 높은 정확도와 강력한 OOD 탐지 성능를 최소한의 수동 간섭으로 달성할 수 있음을 보여주는 것.

제안 방법

• AUCOCL은 과신뢰도 곡선의 곡선 아래 면적(AUCOC)을 최적화하는 새로운 손실 함수로, 직접적으로 모델의 캘리브레이션을 향상시킨다.
• 이 손실 함수는 학습 중에 적용되며, 불확실한 샘플에서 과신뢰도 예측에 대해 보상하는 표준 교차 엔트로피 손실을 수정한다.
• AUCOCL은 추론 분석에서 표준 교차 엔트로피(CE) 및 포칼 손실(FL)과 함께 평가된다.
• 신뢰도 임계값을 제어하기 위해 온도 스케일링 파rameter τ₀를 사용하며, 결과는 65% 및 75% 정확도 수준에서 보고된다.
• 재현 가능성을 확보하기 위해 하나의 랜덤 시드를 사용하여 ResNet-50(CIFAR100, ImageNet) 및 WideResNet-28-10(Tiny-ImageNet)에서 테스트된다.
• AUCOCL은 AUCOC, 정확도, OOD 탐지 성능 측면에서 CE, FL, MMCE, S-AvUC, S-ECE, AUCOCL 등 기존 방법들과 비교된다.

실험 결과

연구 질문

• RQ1 AUCOC를 직접 최적화하는 새로운 손실 함수가 모델의 캘리브레이션 및 OOD 탐지 성능 향상에 기여할 수 있는가?
• RQ2 AUCOCL은 표준 교차 엔트로피 및 기타 고급 손실 함수와 비교해 정확도 및 OOD 탐지 성능 측면에서 어떻게 성과를 내는가?
• RQ3 AUCOCL은 수동 하이퍼파arameter 튜닝을 줄이며 높은 모델 정확도를 달성할 수 있는가?
• RQ4 AUCOCL은 다양한 벤치마크(SVHN, CIFAR100-C)에서 분포 외 탐지 성능에 어떤 영향을 미치는가?
• RQ5 AUCOCL은 단지 15개의 학습 에포크로 ImageNet에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• ResNet-50를 사용한 CIFAR100에서 AUCOCL은 상위-1 정확도 75.94%와 AUCOC 93.81%를 달성하여 CE(73.69% 정확도, 91.10% AUCOC)를 능가했다.
• WideResNet-28-10를 사용한 Tiny-ImageNet에서 AUCOCL은 51.40% 정확도와 76.64% AUCOC를 기록하여 CE(49.29% 정확도, 74.03% AUCOC)를 초월했다.
• SVHN OOD 탐지에서 AUCOCL은 MaxLogit AUROC 86.56%와 EBM AUROC 87.10%를 기록하여 CE(81.64% 및 81.77% AUROC)를 크게 앞섰다.
• CIFAR100-C(모든 15가지 오염)에서 AUCOCL은 MaxLogit AUROC 69.51%와 EBM AUROC 69.69%를 기록하여 CE(67.71% 및 67.71% AUROC)를 뛰어넘었다.
• 15개 에포크로 학습한 ImageNet에서 AUCOCL은 τ₀@65%에서 87.47%의 정확도 23.36%를 달성하여 CE(91.43% τ₀@65%, 20.19% 정확도)를 능가했다.
• AUCOCL은 모든 평가된 데이터셋과 모델에서 정확도 및 OOD 탐지 성능 측면에서 일관된 향상을 보였으며, 수동 튜닝이 최소한이었다.