[論文レビュー] Are We There Yet? Evaluating State-of-the-Art Neural Network based Geoparsers Using EUPEG as a Benchmarking Platform

Jimin Wang, Yingjie Hu|arXiv (Cornell University)|Jul 15, 2020

Topic Modeling参考文献 20被引用数 4

ひとこと要約

本稿は、EUPEGベンチマークプラットフォームを用いて、3つの最先端のニューラルネットワークベースのジオパーサー（DM_NLP、UniMelb、UArizona）を評価している。このプラットフォームには、複数のテキストジャンルにまたがる8つの多様なデータセットが収録されている。結果として、複数のデータセットで顕著な性能向上が得られたが、これは、代表的でフォーマットが整った場所名のジオパーサーはほぼ解決されたことを示唆している。一方で、非公式なテキストや曖昧なトポニムに対する課題は依然として残っている。

ABSTRACT

Geoparsing is an important task in geographic information retrieval. A geoparsing system, known as a geoparser, takes some texts as the input and outputs the recognized place mentions and their location coordinates. In June 2019, a geoparsing competition, Toponym Resolution in Scientific Papers, was held as one of the SemEval 2019 tasks. The winning teams developed neural network based geoparsers that achieved outstanding performances (over 90% precision, recall, and F1 score for toponym recognition). This exciting result brings the question "are we there yet?", namely have we achieved high enough performances to possibly consider the problem of geoparsing as solved? One limitation of this competition is that the developed geoparsers were tested on only one dataset which has 45 research articles collected from the particular domain of Bio-medicine. It is known that the same geoparser can have very different performances on different datasets. Thus, this work performs a systematic evaluation of these state-of-the-art geoparsers using our recently developed benchmarking platform EUPEG that has eight annotated datasets, nine baseline geoparsers, and eight performance metrics. The evaluation result suggests that these new geoparsers indeed improve the performances of geoparsing on multiple datasets although some challenges remain.

研究の動機と目的

• フォーマットが整ったテキストにおけるジオパーサーが、十分に高い性能を達成したことで「解決された」と見なせるかどうかを評価すること。
• 従来の評価が1つのデータセット（バイオメディスン）でのみ行われていたという制限を解消するため、複数のデータセットを用いたベンチマークプラットフォームを用いること。
• ニュース、ウィキペディア、ソーシャルメディア、ウェブページを含む、多様なテキストジャンルにおける上位ジオパーサーの性能を体系的に比較すること。
• 名前が曖昧なトポニム、スペルミス、細分化された場所といった、ジオパーサーにおける継続的な課題を同定すること。
• 評価済みのジオパーサーと、EUPEGベンチマークプラットフォーム（データセットとメトリクスを含む）のオープンソース化を通じて、今後の研究を支援すること。

提案手法

• 8つのアノテート済みデータセット（ニュース、ウィキペディア、ソーシャルメディア、ウェブページの4つのテキストジャンルにまたがる）を収録する拡張可能で統一的なベンチマークシステム「EUPEGプラットフォーム」を活用した。
• 一貫した評価を確保するため、発表された手法に基づいて、上位3つのエンドツーエンドジオパーサー（DM_NLP、UniMelb、UArizona）を再実装した。
• トポニム認識および解決のための精度、再現率、F1スコアを含む8つのパフォーマンスメトリクスを用いてジオパーサーを評価した。
• 学習済みモデルが存在しない状況において、トポニム解決のための単純な人口ヒューリスティックを適用し、システム間の公平な比較を可能にした。
• すべてのデータセットにおいて、3つの上位ジオパーサーと9つのベースラインジオパーサーの性能を比較し、相対的な向上度を評価した。
• GitHubに、評価済みの3つのジオパーサーとEUPEGプラットフォームのソースコードを公開し、再現可能性と今後の研究を促進した。

実験結果

リサーチクエスチョン

• RQ1 最先端のニューラルジオパーサーは、バイオメディスン分野を越えて、多様なテキストジャンルにおいて一貫した高い性能を発揮できるか？
• RQ2 SemEval 2019コンテストで報告された高いスコアは、他のデータセットやテキストタイプにも一般化できるか？
• RQ3 ニューラルネットワークモデルの進歩にもかかわらず、ジオパーサーにおいて依然として残っている課題は何か？
• RQ4 非公式な言語、スペルミス、曖昧なトポニムを含むデータセットにおいて、上位ジオパーサーの性能はいかがだったか？
• RQ5 EUPEGプラットフォームは、異なるコーパスとメトリクスを対象としたジオパーサーの評価と比較に、信頼性があり拡張可能なベンチマークとして機能できるか？

主な発見

• 上位3つのジオパーサー（DM_NLP、UniMelb、UArizona）は、複数のデータセットにおいて、代表的でフォーマットが整った場所名に対して、F1スコアが90％を超える高いスコアを達成した。これは、フォーマルなテキストにおける強力な一般化性能を示している。
• ソーシャルメディアなどの非公式なテキストジャンルでは、トポニムの曖昧さ、スペルミス、文脈の不足により、性能が著しく低下した。
• ジオパーサーは、表記のバリエーションや大文字・小文字の変更に対しては頑健であったが、標準のジオグラフィカルデータベースにカバーされていない通りや公園のような細分化された場所では苦労した。
• トポニム解決に単純な人口ヒューリスティックを適用した結果、妥当な性能が得られた。これは、人口ベースの意味解消が依然として有効であるが、すべてのケースに十分ではないことを示唆している。
• 評価により、あるドメイン（例：バイオメディスン）で学習したジオパーサーは、他のドメインに一般化しにくいことが判明した。これは、ドメイン適応型またはマルチドメイン学習の必要性を強調している。
• EUPEGプラットフォームは、多様なデータセットにわたる体系的かつ再現可能な評価を可能にした。今後のジオパーサー研究におけるベンチマークインfraとしての価値を実証した。