[논문 리뷰] One neuron is more informative than a deep neural network for aftershock pattern forecasting

Arnaud Mignan, Marco Broccardo|arXiv (Cornell University)|2019. 01. 01.

Earthquake Detection and Analysis참고 문헌 18인용 수 93

한 줄 요약

이 논문은 단지 두 가지 측정 가능한 입력—주향성 평균 이동량과 균열에서의 거리—를 사용하는 단순한 로지스틱 회귀 모델이 배후진동 패턴 예측에서 AUC 0.86을 달성하며, 13,451개의 파rameter를 가진 딥 뉴럴 네트워크(DNN)가 달성한 AUC 0.85를 뛰어넘는다. 연구는 동일한 데이터와 평가 지표를 사용할 때, 복잡한 딥 러닝 모델이 단순하고 투명한 모델보다 예측력이나 해석력에서 우월하지 않음을 보여준다.

ABSTRACT

29 August 2018: "Artificial intelligence nails predictions of earthquake aftershocks". This Nature News headline is based on the results of DeVries et al. (2018) who forecasted the spatial distribution of aftershocks using Deep Learning (DL) and static stress feature engineering. Using receiver operating characteristic (ROC) curves and the area under the curve (AUC) metric, the authors found that a deep neural network (DNN) yields AUC = 0.85 compared to AUC = 0.58 for classical Coulomb stress. They further showed that this result was physically interpretable, with various stress metrics (e.g. sum of absolute stress components, maximum shear stress, von Mises yield criterion) explaining most of the DNN result. We here clarify that AUC c. 0.85 had already been obtained using ROC curves for the same scalar metrics and by the same authors in 2017. This suggests that DL - in fact - does not improve prediction compared to simpler baseline models. We reformulate the 2017 results in probabilistic terms using logistic regression (i.e., one neural network node) and obtain AUC = 0.85 using 2 free parameters versus the 13,451 parameters used by DeVries et al. (2018). We further show that measured distance and mainshock average slip can be used instead of stress, yielding an improved AUC = 0.86, again with a simple logistic regression. This demonstrates that the proposed DNN so far does not provide any new insight (predictive or inferential) in this domain.

연구 동기 및 목표

• 딥 러닝이 단순한 모델을 뛰어넘어 주향성 패턴 예측 성능을 향상시킨다는 주장에 도전하기 위해.
• 단일 뉴런(로지스틱 회귀)이 훨씬 더 적은 파rameter를 사용하면서도 복잡한 DNN의 성능을 따라하거나 뛰어넘을 수 있음을 보여주기 위해.
• 모델에서 유도된 응력 특징 대신 직접 측정 가능한 지구물리학적 변수(이동량과 거리)를 사용하여 불확실성을 줄이고 해석력을 향상시키기 위해.
• 이전 연구에서 보고된 AUC의 향상(0.58에서 0.85로)이 딥 러닝 덕분이 아니라, 더 단순한 통계 모델로도 이미 달성 가능했음을 명확히 하기 위해.

제안 방법

• DeVries 등이 보고한 DNN 결과를 동일한 데이터셋과 평가 지표(AUC, p=0.5일 때 정밀도)를 사용해 재현하였다.
• DNN를 단일 스칼라 응력 지표(예: 절대 응력 성분의 합)를 입력으로 사용하는 로지스틱 회귀 모델로 대체하였다.
• 학습 및 테스트에 동일한 57개의 주향성-배후진동 쌍을 SRCMOD 데이터베이스에서 사용하였다.
• 응력 특징을 직접 측정 가능한 변수로 대체: 주향성 평균 이동량(d)과 균열에서의 최소 거리(r).
• 확률 모델을 다음과 같이 설정: Pr(y) = 1 / (1 + exp[-(b0 + b1·log10(r) + b2·log10(d)))]), 파ram터 b0=10.18, b1=-2.32, b2=1.16.
• ROC 곡선과 AUC를 사용해 성능을 평가하였으며, DNN, 응력 기반 로지스틱 회귀, 거리-이동량 기반 로지스틱 회귀의 결과를 비교하였다.

실험 결과

연구 질문

• RQ1 단순한 로지스틱 회귀 모델이 주향성 패턴 예측에서 딥 뉴럴 네트워크(DNN)와 유사하거나 더 높은 AUC를 달성할 수 있는가?
• RQ2 동일한 데이터셋과 평가 지표를 사용할 때, 딥 러닝이 단순한 통계 모델보다 예측 성능에서 우월한가?
• RQ3 이전의 딥 러닝 연구에서 보고된 주향성 예측 성능 향상은 모델의 복잡성 때문인가, 아니면 더 단순한 기반 모델이 이미 유사한 결과를 달성하고 있었기 때문인가?
• RQ4 이동량과 거리와 같은 측정 가능한 지구물리학적 파라미터가 모델에서 유도된 응력 특징을 대체하여 모델의 해석력 향상과 불확실성 감소에 기여할 수 있는가?
• RQ5 응력 텐서 성분을 입력으로 사용할 경우, 그로 인한 상당한 불확실성이 딥 러닝 예측의 신뢰성을 떨어뜨리는가?

주요 결과

• 응력 성분의 절대값 합을 입력으로 사용한 로지스틱 회귀 모델이 AUC 0.85를 달성하여, 13,451개의 파rameter를 가진 DNN의 성능을 그대로 따라잡았다.
• 최대 비틀림 응력과 보민스 기준 응력 기준을 입력으로 사용한 동일한 로지스틱 회귀 모델도 AUC 0.85를 기록하여, DNN의 성능이 모델의 복잡성 때문이 아니라는 점을 확인하였다.
• 측정 가능한 변수인 주향성 평균 이동량(d)과 최소 거리(r)를 사용한 로지스틱 회귀 모델이 향상된 AUC 0.86을 달성하였다.
• 거리-이동량 모델은 Pr(y) = 1 / (1 + exp[-(10.18 - 2.32·log10(r) + 1.16·log10(d)))]), 로 표현되며, 투명하고 해석 가능한 예측 도구를 제공한다.
• 모든 모델에서 p=0.5일 때 정밀도는 5.4%로 일정하게 유지되어, 양성 예측 비율에서 일관된 성능을 보였다.
• 이 연구는 딥 러닝이 이 분야에서 새로운 예측적 또는 추론적 통찰을 제공하지 못하며, 더 단순하고 투명한 모델이 더 낮은 가정 수와 함께 동일하거나 더 높은 성능을 달성할 수 있음을 결론 내린다.