[논문 리뷰] Retrospective Evaluation of the Five-Year and Ten-Year CSEP-Italy Earthquake Forecasts

Maximilian J. Werner, J. D. Zechar외 2명|arXiv (Cornell University)|2010. 03. 04.

earthquake and tectonic studies참고 문헌 10인용 수 6

한 줄 요약

이 연구는 CSEP-Italy 실험에서 제공한 12개의 시간에 독립적인 확률적 지진 예측을 두 개의 이탈리아 지진 목록(CPTI08 및 CSI 1.1)을 사용해 5년 및 10년 기간 동안 후향적으로 평가한다. 지진의 크기(ML >7)를 적절히 예측하지 못하는 네 가지 예측 모델이 발견되었으며, 주로 b-값이 잘못 계산되었거나 크기 분포의 감쇠 속도가 지나치게 빠른 데 기인한다. 이는 모델 校정의 결함을 드러내며, 향후 전망 평가 이전에 후향적 테스트의 가치를 강조한다.

ABSTRACT

On 1 August 2009, the global Collaboratory for the Study of Earthquake Predictability (CSEP) launched a prospective and comparative earthquake predictability experiment in Italy. The goal of the CSEP-Italy experiment is to test earthquake occurrence hypotheses that have been formalized as probabilistic earthquake forecasts over temporal scales that range from days to years. In the first round of forecast submissions, members of the CSEP-Italy Working Group presented eighteen five-year and ten-year earthquake forecasts to the European CSEP Testing Center at ETH Zurich. We considered the twelve time-independent earthquake forecasts among this set and evaluated them with respect to past seismicity data from two Italian earthquake catalogs. In this article, we present the results of tests that measure the consistency of the forecasts with the past observations. Besides being an evaluation of the submitted time-independent forecasts, this exercise provided insight into a number of important issues in predictability experiments with regard to the specification of the forecasts, the performance of the tests, and the trade-off between the robustness of results and experiment duration. We conclude with suggestions for the future design of earthquake predictability experiments.

연구 동기 및 목표

• 이탈리아의 역사적 지진 활동과 시간에 독립적인 확률적 지진 예측의 일관성을 평가하기 위해.
• 향후 전망 평가 이전에 후향적 테스트를 통해 예측 모델의 기술적 또는 개념적 결함을 특정하기 위해.
• 후향적 테스트 성과를 바탕으로 모델러에게 피드백을 제공하여 예측 품질을 향상시키기 위해.
• 테스트 방법의 강건성과 실험 기간 길이와 결과 신뢰성 간의 상충 관계를 평가하기 위해.
• 예측 사양 및 평가의 핵심 과제를 규명하여 향후 지진 예측 가능성 실험 설계에 기여하기 위해.

제안 방법

• CSEP-Italy 실험에 제출된 12개의 시간에 독립적인 예측을 두 개의 이탈리아 지진 목록(CPTI08 및 CSI 1.1)을 사용해 후향적으로 평가한다.
• 관측된 지진 활동과의 일관성을 평가하기 위해 M-검정 및 우도 비율 검정과 같은 통계적 검정을 적용한다.
• ETH 취리히 소재의 CSEP-Italy 테스팅 프레임워크를 사용해 1901–2007 및 1950–2007 목표 기간 동안 예측을 평가한다.
• 특히 큰 지진(ML >7)에 초점을 맞춰 예측된 크기 분포를 관측된 지진 활동과 비교한다.
• 모델 고유의 오류, 예를 들어 잘못된 b-값 또는 크기 확률 분포의 과도한 감쇠를 특정한다.
• 우도 비율과 집중도 다이어그램을 사용해 예측 성능을 정량화하고 체계적인 과소 또는 과대 예측 여부를 탐지한다.

실험 결과

연구 질문

• RQ1 시간에 독립적인 확률적 지진 예측은 이탈리아에서 5년 및 10년 간격으로 관측된 지진 활동을 얼마나 잘 예측하는가?
• RQ2 어느 예측 모델이 대규모 지진(ML >7)을 충분히 예측하지 못하는가, 그리고 실패의 근본 원인은 무엇인가?
• RQ3 후향적 테스트는 예측 제출물의 기술적 오류나 잘못된 모델 가정을 어느 정도 드러내는가?
• RQ4 다른 지진 목록(CPTI08 대비 CSI 1.1)은 동일한 예측의 평가 결과에 어떤 영향을 미치는가?
• RQ5 후향적 평가는 전망 테스트 이전에 예측 신뢰성 향상에 의미 있는 품질 보증 단계로 기능할 수 있는가?

주요 결과

• 1901–2007 기간 동안 Akinci-et-al.Hazgridx, Nanjo-et-al.RI, Chan-et-al.HzaTI, Meletti-et-al.MPS04 네 가지 예측 모델이 M-검정에 실패하여 대규모 지진 예측 능력이 떨어짐을 나타낸다.
• Akinci-et-al.Hazgridx와 Nanjo-et-al.RI의 실패 원인은 구글베르크-라이히터 분포에서 b-값이 과대 평가되어 대규모 지진을 과소 예측하기 때문이며, 이는 모델 보정의 문제를 반영한다.
• Chan-et-al.HzaTI의 비모수적 크기 분포는 너무 빠르게 감쇠되어 큰 지진의 확률을 과소 평가한다.
• Meletti-et-al.MPS04는 특정 특성 크기에서 확률이 높지만 그 사이의 사건에는 극도로 낮은 확률을 할당하여 적합도가 떨어진다.
• 1901–2007 기간에 실패했음에도 불구하고 동일한 예측 모델들은 1950–2007 기간에는 통과되었으며, 이는 1950년 이전의 데이터 품질과 불확실성이 결과에 영향을 미칠 수 있음을 시사한다.
• 후향적 평가가 모델 결함을 성공적으로 식별하여 피드백 이후 6개의 개선된 예측과 2개의 신규 제출 예측이 이루어졌으며, 이는 후향적 평가가 예측 품질 향상에 있어 가치가 있음을 입증한다.