[논문 리뷰] Uncertainty in the Predictive Capability of Detectors that Process Waveforms from Explosions

Joshua Carmichael, R. J. Nemzek|arXiv (Cornell University)|2019. 06. 21.

Seismic Waves and Analysis참고 문헌 15인용 수 6

한 줄 요약

이 논문은 실제 노이즈에 스케일링된 파형을 주입하여 예측된 탐지 빈도와 관측된 탐지 빈도를 비교함으로써, 소형 지상 폭발에 대한 라디오, 음향 및 지진파형 탐지기의 예측 정확도를 정량화한다. 불확실성을 제한하기 위해 소스 magnitude와 관련된 물리적으로 해석 가능한 지표인 magnitude discrepancy ($Δ m$)를 도입하여, 라디오 탐지기의 경우 ≤7%의 불확실성, 지진 탐지기의 경우 ≤18%, 음향 탐지기의 경우 ≤56%를 보이며, 제한된 데이터 상황에서 관측된 성능 곡선이 이론적 곡선보다 종종 더 우수한 성능을 보인다.

ABSTRACT

Explosions near ground generate multiple geophysical waveforms in the radiation-dominated range of their signature fields. Multi-phenomological explosion monitoring (MultiPEM) at these ranges requires the predictive capability to forecast trigger rates of digital detectors that process such waveform data, and thereby accurately anticipate the probability that hypothetical explosions can be identified in operations. To confront this challenge, we derive and compare the predicted and observed performance of three digital detectors that process radio, acoustic and seismic waveform data that record a small, aboveground explosion. We measure this comparison with the peak range in magnitude (magnitude discrepancy) over which different performance curves report the same probability of detection, within an interval of moderate detection probability, and thereby quantify solutions to three topical monitoring questions. In particular, our solutions (1) demonstrate how empirically parameterized detectors that operate in a variable noisy environments provide fair-to-very good forecasting capability to detect small explosions, (2) show that the observed performance of a particular waveform detector can better forecast performance curves constructed from different observations, when compared to theoretical performance curves, and (3) provide an upper bound on detection uncertainty, in terms of a physical source attribute (magnitude)

연구 동기 및 목표

• 소형 지상 폭발의 라디오, 음향 및 지진 신호를 처리하는 파형 탐지기의 예측 능력을 정량화하는 것.
• 실제 노이즈 조건에서 이론적 탐지 곡선이 실제 탐지 성능을 얼마나 잘 예측하는지 평가하는 것.
• 원천 magnitude와 연결된 물리적으로 해석 가능한 지표인 magnitude discrepancy ($\\Delta m$)를 사용하여 탐지 예측의 불확실성을 제한하는 것.
• 제한된 데이터로부터 유도된 관측 성능 곡선이 이론적 모델보다 미래 탐지기 행동 예측에 더 정확한지 평가하는 것.

제안 방법

• 라디오, 음향 및 지진 채널에 대해 약 10kg 폭발에서 유래한 스케일링된 템플릿 파형을 12일 간의 실제 노이즈 기록에 주입한다.
• 표준 탐지기로 처리: 라디오의 경우 SNR 기반, 음향의 경우 STA/LTA, 지진의 경우 교차상관관계.
• 다양한 신호 진폭에서 탐지 빈도를 계산하여 관측된 성능 곡선을 생성한다.
• 관측된 곡선을 시간 평균 예측 곡선과 이론적 곡선(노이즈 통계에서 유도)과 비교한다.
• 중간 탐지 확률 범위(0.8 ≤ PrD ≤ 0.98)에서 피크 magnitude 불일치($Δ m$)를 사용하여 예측 정확도를 정의한다.
• 정밀도에 대한 정규화를 가능하게 하여 탐지기 간 비교를 가능하게 하는 상대 magnitude 불일치($\Delta m_{\text{Ref}}$)를 도입한다.

실험 결과

연구 질문

• RQ1 이론적 모델은 실제 노이즈 환경에서 파형 탐지기의 탐지 성능을 얼마나 정확하게 예측할 수 있는가?
• RQ2 단일 일자에서의 제한된 데이터로부터 유도된 관측 성능 곡선은 이론적 곡선만큼이나 탐지기 행동을 예측할 수 있는가?
• RQ3 소스 magnitude 불일치($\Delta m$)로 표현된 탐지 불확실성의 상한은 얼마인가?
• RQ4 라디오, 음향 및 지진 탐지기의 예측 성능는 magnitude 불일치 측면에서 어떻게 비교되는가?
• RQ5 시간 평균 예측 성능은 일일 비교 대비 예측 정확도를 향상시키는가?

주요 결과

• 라디오 방출 탐지기의 경우 최대 magnitude 불일치가 ≤7%로 나타나 예측 정확도가 높음을 보였다.
• 지진 상관관계 탐지기의 경우 중간 성능를 보이며 최대 magnitude 불일치가 ≤18%로 나타나 보통에서 양호한 예측 능력을 반영하였다.
• 음향 STA/LTA 탐지기의 경우 가장 높은 불확실성을 보이며 최대 magnitude 불일치가 ≤56%로 나타나 예측 정밀도가 제한됨을 시사하였다.
• 단일 일자에서의 관측 성능 곡선은 이론적 곡선보다 종종 향후 탐지기 행동을 더 잘 예측하였다.
• 시간 평균 예측 및 관측 성능 곡선은 일일 곡선 쌍보다 더 잘 일치하였으며, 평균화가 예측 신뢰도를 향상시킨다는 것을 시사하였다.
• 이론적 곡선은 중간 탐지 확률 범위(0.8 ≤ PrD ≤ 0.98)에서 눈에 띄게 편향되지 않았으며, 이 범위 내에서 일관된 성능 추정이 가능함을 나타내었다.