[논문 리뷰] Emphasis on the Minimization of False Negatives or False Positives in Binary Classification

Sanskriti Singh|arXiv (Cornell University)|2022. 04. 06.

Face and Expression Recognition인용 수 4

한 줄 요약

이 논문은 사전 훈련된 모델을 잘못된 양성 예측의 일부를 진정 양성으로 재레이블한 수정된 훈련 세트로 재훈련함으로써 이元 분류에서 잠재적 양성 사례를 놓치는 것을 최소화하는 새로운 데이터 재가중 기법을 제안한다. 이 방법은 VGG16 및 전이 학습 모델을 포함한 다양한 아키텍처에서 F1 스코어를 크게 떨어뜨리지 않으면서 재현율을 최대 13% 향상시키며, 폐렴 탐지와 같은 의료 영상 작업에서 강력한 효과를 보여준다.

ABSTRACT

The minimization of specific cases in binary classification, such as false negatives or false positives, grows increasingly important as humans begin to implement more machine learning into current products. While there are a few methods to put a bias towards the reduction of specific cases, these methods aren't very effective, hence their minimal use in models. To this end, a new method is introduced to reduce the False Negatives or False positives without drastically changing the overall performance or F1 score of the model. This method involving the careful change to the real value of the input after pre-training the model. Presenting the results of this method being applied on various datasets, some being more complex than others. Through experimentation on multiple model architectures on these datasets, the best model was found. In all the models, an increase in the recall or precision, minimization of False Negatives or False Positives respectively, was shown without a large drop in F1 score.

연구 동기 및 목표

• 의료 진단과 같이 한 명의 양성 사례를 놓치면 치명적인 결과를 초래할 수 있는 고위험 응용 분야에서 잠재적 양성 사례를 최소화할 필요를 해결하기 위해.
• 전반적인 모델 성능, 특히 F1 스코어를 훼손하지 않으면서 잘못된 음성 예측을 줄이는 방법을 개발하기 위해.
• 선택적 잘못된 양성 예측 재레이블링을 통한 데이터 재가중이 모델의 편향을 더 높은 재현율 쪽으로 이동시키는 데 효과적인지 탐색하기 위해.
• 이 방법의 효과성을 다양한 딥 러닝 아키텍처와 실제 데이터셋(예: RSNA 폐렴 및 NIH ChestX-ray8)에서 평가하기 위해.
• 사전 훈련 후 적용 가능한 실용적이고 아키텍처에 종속되지 않는 기법을 제공하여 임상 의사 결정 지원 시스템의 모델 안전성을 향상시키기 위해.

제안 방법

• 이 방법은 사전 훈련된 모델을 동일한 데이터셋으로 재훈련하지만, 선택된 비율의 잘못된 양성 예측 결과를 진정 양성으로 재레이블하는 방식이다.
• 잘못된 양성 예측는 사전 훈련된 모델을 사용해 훈련 세트에 대해 추론를 수행함으로써 식별되며, 이 과정에서 혼동 행렬이 생성된다.
• 재레이블링 과정은 제어된 비율(예: 20%에서 100%)의 잘못된 양성 예측에 대한 진정 레이블을 선택적으로 수정하여 모델의 민감도를 향상시킨다.
• 이 접근법은 데이터 증강과 임계값 조정의 요소를 결합하지만, 고정된 결정 경계를 강제하지 않아 모델이 더 세밀한 결정 표면을 학습할 수 있도록 한다.
• 재훈련된 모델은 보류된 테스트 세트에서 재현율, 정밀도, F1 스코어 및 AUROC를 측정하기 위해 평가된다.
• 이 방법은 VGG16, 전이 학습 모델 등 다양한 아키텍처에 적용되어 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 선택적으로 일부 잘못된 양성 예측을 진정 양성으로 재레이블함으로써 재현율을 크게 향상시킬 수 있을까, 동시에 전반적인 모델 성능은 떨어지지 않을까?
• RQ2 재레이블된 잘못된 양성 예측의 비율이 이원 분류에서 재현율과 F1 스코어 사이의 상호 보완적 관계에 어떤 영향을 미칠까?
• RQ3 제안된 방법이 다양한 딥 러닝 아키텍처와 데이터셋에서 성능을 유지하거나 향상시키는가?
• RQ4 이 방법은 흉부 X-ray에서 폐렴 탐지와 같은 고위험 의료 영상 작업에서 효과적인가?
• RQ5 클래스 가중치, 데이터 증강, 임계값 조정과 같은 기존 기법들과 비교해 볼 때, 이 방법은 재현율 향상과 F1 스코어 안정성 측면에서 어떤가?

주요 결과

• VGG16 모델에서 잘못된 양성 예측의 60%를 재레이블했을 때 재현율이 최대 13% 향상되었으며, F1 스코어는 0.48로 유지되었다.
• 전이 학습 모델에서는 잘못된 양성 예측의 100%를 재레이블했을 때 재현율이 0.62에서 0.70으로 향상되었고, F1 스코어는 0.54에서 0.57로 약간 상승했다.
• VGG16 모델의 경우 60% 재레이블링 시 재현율이 0.74에서 0.78로 증가했으며, F1 스코어는 0.45에서 0.48로 향상되었다.
• 모든 모델에서 F1 스코어는 안정되거나 약간 향상되었으며, 재현율 향상에 비해 유의미한 하락이 없었다.
• 재레이블링 후 최상의 모델들을 앙상블하면 재현율이 0.56에서 0.68로 향상되었고, F1 스코어는 0.58로 유지되어 실제 응용에서의 유용성을 입증했다.
• 초기 정밀도가 낮은 모델에서 이 방법이 가장 효과적이었는데, 이는 더 많은 잘못된 양성 예측가지 재레이블링 대상이 되어 학습 신호를 강화했기 때문이다.