[論文レビュー] One neuron is more informative than a deep neural network for aftershock pattern forecasting

Arnaud Mignan, Marco Broccardo|arXiv (Cornell University)|Jan 1, 2019

Earthquake Detection and Analysis参考文献 18被引用数 93

ひとこと要約

この論文は、単純なロジスティック回帰が、主な衝撃の平均ずれと破壊からの距離という2つの測定可能な入力のみを用いて、アフターショックパターンの予測でAUC 0.86を達成することを示しており、13,451パラメータを持つ深層ニューラルネットワーク（DNN）が得たAUC 0.85を上回っている。研究では、同じデータと評価指標を使用する場合、複雑なディープラーニングモデルが単純で透明性の高いモデルよりも予測的・解釈的利点を提供しないことが示された。

ABSTRACT

29 August 2018: "Artificial intelligence nails predictions of earthquake aftershocks". This Nature News headline is based on the results of DeVries et al. (2018) who forecasted the spatial distribution of aftershocks using Deep Learning (DL) and static stress feature engineering. Using receiver operating characteristic (ROC) curves and the area under the curve (AUC) metric, the authors found that a deep neural network (DNN) yields AUC = 0.85 compared to AUC = 0.58 for classical Coulomb stress. They further showed that this result was physically interpretable, with various stress metrics (e.g. sum of absolute stress components, maximum shear stress, von Mises yield criterion) explaining most of the DNN result. We here clarify that AUC c. 0.85 had already been obtained using ROC curves for the same scalar metrics and by the same authors in 2017. This suggests that DL - in fact - does not improve prediction compared to simpler baseline models. We reformulate the 2017 results in probabilistic terms using logistic regression (i.e., one neural network node) and obtain AUC = 0.85 using 2 free parameters versus the 13,451 parameters used by DeVries et al. (2018). We further show that measured distance and mainshock average slip can be used instead of stress, yielding an improved AUC = 0.86, again with a simple logistic regression. This demonstrates that the proposed DNN so far does not provide any new insight (predictive or inferential) in this domain.

研究の動機と目的

• ディープラーニングが単純なモデルを上回るアフターショックパターンの予測性能を向上させるとの主張に挑戦すること。
• 1つのニューロン（ロジスティック回帰）が、はるかに少ないパラメータを持つ複雑なDNNと同等またはそれを上回る性能を達成できることを示すこと。
• モデルから導出された応力特徴の代わりに、直接測定可能な地球物理学的変数（ずれと距離）を用いることで、不確実性を低減し、解釈性を向上させることを提唱すること。
• 過去の研究で報告されたAUCの向上（0.58から0.85）が、ディープラーニングのおかげではなく、単純な統計モデルでも達成可能であったことを明確にすること。

提案手法

• 同じデータセットと評価指標（AUC、p=0.5における精度）を用いて、DeVriesらのDNN結果を再現した。
• DNNを、単一のスカラー応力指標（例：絶対応力成分の合計）を入力とするロジスティック回帰モデルに置き換えた。
• 訓練およびテストに、SRCMODデータベースの同一の57組のマグニチュード主震-アフターショックを用いた。
• 応力特徴を、直接測定可能な変数（主な衝撃の平均ずれ（d）および破壊からの最小距離（r））に置き換えた。
• 確率的モデルを定式化した：Pr(y) = 1 / (1 + exp[-(b0 + b1·log10(r) + b2·log10(d)))]），パラメータはb0=10.18、b1=-2.32、b2=1.16。
• ROC曲線とAUCを用いて、DNN、応力に基づくロジスティック回帰、距離-ずれに基づくロジスティック回帰の各モデルの性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 単純なロジスティック回帰モデルは、アフターショックパターンの予測において、深層ニューラルネットワーク（DNN）と同等またはそれ以上のAUCを達成できるか？
• RQ2 同じデータセットと評価指標を使用する場合、ディープラーニングは単純な統計モデルに比べて予測的利点を提供するか？
• RQ3 過去のディープラーニング研究で報告されたアフターショック予測の性能向上は、実際にモデルの複雑さに起因するのではなく、単純なベースラインモデルがすでに同様の結果を達成可能であったためであると示せるか？
• RQ4 ずれや距離といった直接測定可能な地球物理学的パラメータが、モデルから導出された応力特徴の代わりに使用可能であり、モデルの解釈性を向上させるとともに不確実性を低減できるか？
• RQ5 応力テンソル成分を入力として使用することは、ディープラーニング予測の信頼性を損なうほど顕著な不確実性を引き起こすのか？

主な発見

• 応力成分の絶対値の合計を入力とするロジスティック回帰モデルは、AUC 0.85を達成し、13,451パラメータを持つDNNと同等の性能を示した。
• 最大せん断応力およびボン・ミーゼス降伏基準を入力として使用した場合も、AUC 0.85が達成され、DNNの性能がモデルの複雑さに起因するものでないことが確認された。
• 直接測定可能な変数（主な衝撃の平均ずれ（d）および最小距離（r））を用いたロジスティック回帰モデルは、AUC 0.86というより高い性能を達成した。
• 距離-ずれモデルは、Pr(y) = 1 / (1 + exp[-(10.18 - 2.32·log10(r) + 1.16·log10(d)))]）として定式化され、透明性と解釈性に優れた予測ツールとなった。
• p=0.5における精度は、すべてのモデルで5.4%のまま維持され、陽性予測率の観点から一貫性のある性能が示された。
• 本研究の結論として、ディープラーニングはこの分野で新たな予測的・推論的知見を提供しない。単純なモデルは、より透明性と少ない仮定で、同等または優れた結果を達成できる。