[論文レビュー] Mordecai 3: A Neural Geoparser and Event Geocoder

Andrew Halterman|arXiv (Cornell University)|Mar 23, 2023

Geographic Information Systems Studies被引用数 5

ひとこと要約

Mordecai 3 は、トピノームを Geonames エントリに解決するためのトランスフォーマー基盤のニューラルランク付けモデルと、イベントの場所を特定するためのオフザシェルの質問応答モデルを用いたニューラルジオパーサーおよびイベントジオコーダーである。ベンチマークデータセットにおいて、国レベルで94.2%の正確さと正確一致で82.8%の正確さを達成し、過去のシステムを上回る主要な指標を満たすとともに、正しい場所が候補結果に存在しない場合には誤ったジオロケーションを回避する機能も備えている。

ABSTRACT

Mordecai3 is a new end-to-end text geoparser and event geolocation system. The system performs toponym resolution using a new neural ranking model to resolve a place name extracted from a document to its entry in the Geonames gazetteer. It also performs event geocoding, the process of linking events reported in text with the place names where they are reported to occur, using an off-the-shelf question-answering model. The toponym resolution model is trained on a diverse set of existing training data, along with several thousand newly annotated examples. The paper describes the model, its training process, and performance comparisons with existing geoparsers. The system is available as an open source Python library, Mordecai 3, and replaces an earlier geoparser, Mordecai v2, one of the most widely used text geoparsers (Halterman 2017).

研究の動機と目的

• テキスト内の曖昧な場所名を高精度に解決できる、堅牢でエンドツーエンドのジオパーサリングシステムの開発。
• 文脈的推論を用いて報告されたイベントを正しい地理的位置にリンクすることで、イベントジオコーディングの課題に対処。
• 多様で新規にアノテートされたデータと既存のデータセットを用いて訓練されたニューラル類似度モデルを通じて、ジオパーサリングのパフォーマンスを向上。
• 候補結果に正しい場所が存在しない場合にそのことを検出できる機能を実装することで、実世界のシナリオにおける耐性を強化。
• 社会科学研究分野での広範な採用を促進するため、Mordecai v2 を置き換えるオープンソースでプロダクション運用可能な Python ライブラリを提供。

提案手法

• テキストドキュメントからトピノームを抽出するために、spaCy のトランスフォーマー基盤の NER を使用。
• 主な場所名および代替名に対してファジー一致を用いて、カスタムの Elasticsearch インdexed Geonames ガゼテアリを照会。
• 文脈的埋め込みと文字列類似度を含む複数の類似度特徴を計算するニューラルランク付けモデルを採用し、最良の候補場所を選択。
• イベントが報告されている場所を特定するために、オフザシェルの質問応答モデルを活用。
• 既存のデータセット（例：GeoWebNews、TR News、LGL）と、2,615件の新規にアノテートされた例（合成データおよび Wikipedia 由来データを含む）の組み合わせを用いて、ニューラルモデルを訓練。
• 人口、行政階層、代替名の長さなどの特徴を組み込むことで、場所の曖昧さの解消を向上。

実験結果

リサーチクエスチョン

• RQ1 多様で高品質なデータを用いて訓練されたニューラルランク付けモデルは、従来のヒューリスティクスを上回るトピノーム解決の正確さを実現できるか？
• RQ2 複数の場所名が存在する文書において、事前学習済みの質問応答モデルは、イベントの場所をどれほど正確に特定できるか？
• RQ3 候補結果に正しい場所が存在しない場合に、モデルはどれほど正確にその事実を検出できるか？誤ったジオロケーションエラーを低減できるか？
• RQ4 文脈的埋め込みとガゼテアリメタデータを組み合わせることで、曖昧な場所名や低頻度の場所名におけるパフォーマンスが向上するか？
• RQ5 システムは、ローカルニュースや合成テンプレートを含む多様なテキストタイプにおいて、どの程度のパフォーマンスを示すか？

主な発見

• Mordecai 3 は、複数のデータセットにおいて国レベルで94.2%の正確さ、正確一致で82.8%の正確さを達成し、主要な指標において過去のジオパーサーを上回っている。
• GWN コーパスにおいて、平均誤差は184 km、161 km以内の正確さは94%を記録し、トップパフォーマンスを示すシステムの一つに位置づけられる。
• 訓練データでは、正しく「回答不能」のケース（つまり、正しい場所が欠落しているケース）を70.3%の正確さで特定し、新規に収集したデータでは最大100%の正確さを達成。
• 合成データでは正しく「 abstention 」が発生する割合が97.4%に達し、パフォーマンスが最も高い。一方、LGL コーパスでは40.0%にとどまり、曖昧な名前を含む米国のローカルニュースにおける課題が顕在化している。
• すべてのデータセットで中央誤差が0 kmを維持しており、大多数の予測が正しいことを示しているが、一部の高インパクトの誤差（非常に大きな距離）も依然として発生している。
• TR および GWN データセットにおいて、それぞれ正確一致正確さが82.8%および91.2%に達し、国レベルの正確さも GWN で95.8%を記録するなど、優れたパフォーマンスを示している。