[논문 리뷰] Reduction of detection limit and quantification uncertainty due to interferent by neural classification with abstention

Alex Hagen‐Zanker, Ken Jarman외 6명|arXiv (Cornell University)|2022. 04. 22.

Nuclear Physics and Applications참고 문헌 19인용 수 1

한 줄 요약

이 논문은 간섭 배경 사건이 있는 물리적 수량 측정 실험에서 탐지 한계와 정량 불확도를 줄이기 위해 기각을 포함한 신경망 분류 방법을 제안한다. 분류기 신뢰도에 기반해 동적으로 최적의 결정 임계값을 설정함으로써, 정확도 최적화 모델에 비해 불확도가 최대 3배까지 감소한다. 특히 신호 대 배경 비율이 낮을 경우 뚜렷한 성능 향상을 보인다.

ABSTRACT

Many measurements in the physical sciences can be cast as counting experiments, where the number of occurrences of a physical phenomenon informs the prevalence of the phenomenon's source. Often, detection of the physical phenomenon (termed signal) is difficult to distinguish from naturally occurring phenomena (termed background). In this case, the discrimination of signal events from background can be performed using classifiers, and they may range from simple, threshold-based classifiers to sophisticated neural networks. These classifiers are often trained and validated to obtain optimal accuracy, however we show that the optimal accuracy classifier does not generally coincide with a classifier that provides the lowest detection limit, nor the lowest quantification uncertainty. We present a derivation of the detection limit and quantification uncertainty in the classifier-based counting experiment case. We also present a novel abstention mechanism to minimize the detection limit or quantification uncertainty \emph{a posteriori}. We illustrate the method on two data sets from the physical sciences, discriminating Ar-37 and Ar-39 radioactive decay from non-radioactive events in a gas proportional counter, and discriminating neutrons from photons in an inorganic scintillator and report results therefrom.

연구 동기 및 목표

• 정확도 최적화 분류기의 한계를 해결하여 탐지 한계와 정량 불확도를 최소화하고자 한다.
• 최대 정확도가 측정학적으로 중요한 지표에서 최적 성능을 제공하지는 않음을 입증하고자 한다.
• 탐지 및 정량 성능을 향상시키는 새로운 기각 메커니즘을 개발하고 검증하고자 한다.
• 이 방법이 낮은 신호 대 배경 비율을 가지는 다양한 물리 과학 데이터셋에서 효과적인지를 보여주고자 한다.

제안 방법

• 분류기 신뢰도 점수에 기반해 탐지 한계 또는 정량 불확도를 최소화하기 위한 임계값 최적화 전략을 제안한다.
• 낮은 신뢰도를 가진 사건을 분류에서 배제함으로써 전체 성능을 향상시키는 기각 메커니즘을 도입한다.
• 단체 기반 최적화를 사용해 다양한 분석물 대 간섭물 비율에서 최소 불확도를 달성하는 최적의 임계값을 결정한다.
• 실제 두 가지 데이터셋에 적용한다: 가스 비례 카운터에서의 Ar-37/Ar-39 분리 및 심지어에서의 중성자-광자 분류.
• 지속적인 분류기 출력(예: 신경망)을 사용해 신뢰도 기반 의사결정을 가능하게 한다.
• 진짜 활성도 추정과 불확도 구간을 사용해 성능을 검증하며, 최적의 임계값과 최대 정확도 임계값을 비교한다.

실험 결과

연구 질문

• RQ1 배경 간섭이 있는 수량 측정 실험에서 최대 정확도를 달성하기 위해 최적화된 분류기가 탐지 한계와 정량 불확도를 최소화하는가?
• RQ2 낮은 신뢰도를 가진 사건을 기각함으로써 탐지 한계와 측정 불확도를 향상시킬 수 있는가?
• RQ3 다양한 신호 대 배경 비율에서 최적 임계값 분류 성능가 장점 정확도 최적화 분류 성능를 비교할 경우 어떤가?
• RQ4 기각 기법이 다양한 분류기와 물리 측정 시스템으로 일반화 가능한가?
• RQ5 저SBR 조건에서 임계값 최적화가 불확도 감소에 미치는 정량적 영향은 무엇인가?

주요 결과

• 정량 불확도를 최소화하기 위한 최적의 임계값은 정확도를 최대화하는 임계값과 일치하지 않는다.
• 분석물 대 간섭물 비율이 낮을 경우, 최적의 불확도는 최대 정확도 임계값을 사용했을 때보다 최대 3배까지 작아진다.
• 추정 활성도가 편향되지 않았더라도, 최대 정확도 분류의 경우 두 표준편차 내에서 0이 포함될 수 있어 저수준 신호 탐지에 실패함을 시사한다.
• 기각 메커니즘은 특히 겹치는 신호 및 배경 영역에서 모호한 사건을 효과적으로 분리한다.
• 이 방법은 모든 테스트된 신호 대 배경 비율에서 불확도를 감소시키며, 특히 저SBR 영역에서 뚜렷한 향상을 이룬다.
• 이 방법은 다양한 분류기와 물리 측정 시스템(예: 가스 비례 카운터 및 무기 스코린티레이터 포함)에 일반화 가능하며 효과적이다.