[논문 리뷰] Are We There Yet? Evaluating State-of-the-Art Neural Network based Geoparsers Using EUPEG as a Benchmarking Platform

Jimin Wang, Yingjie Hu|arXiv (Cornell University)|2020. 07. 15.

Topic Modeling참고 문헌 20인용 수 4

한 줄 요약

이 논문은 EUPEG 벤치마킹 플랫폼을 사용하여 세 가지 최신 신경망 기반 지오퍼서(지오퍼서)인 DM_NLP, UniMelb, UArizona를 평가한다. 이 플랫폼은 다양한 텍스트 장르에 걸쳐 여덟 개의 데이터셋을 보유하고 있다. 결과적으로 여러 데이터셋에서 성능 향상이 두드러지게 나타났으며, 잘 정제된 명시적 장소 이름에 대한 지오퍼싱은 대부분 해결된 것으로 보이나, 비공식적인 텍스트와 모호한 토포니움(지명)에 대한 과제는 여전히 남아 있다.

ABSTRACT

Geoparsing is an important task in geographic information retrieval. A geoparsing system, known as a geoparser, takes some texts as the input and outputs the recognized place mentions and their location coordinates. In June 2019, a geoparsing competition, Toponym Resolution in Scientific Papers, was held as one of the SemEval 2019 tasks. The winning teams developed neural network based geoparsers that achieved outstanding performances (over 90% precision, recall, and F1 score for toponym recognition). This exciting result brings the question "are we there yet?", namely have we achieved high enough performances to possibly consider the problem of geoparsing as solved? One limitation of this competition is that the developed geoparsers were tested on only one dataset which has 45 research articles collected from the particular domain of Bio-medicine. It is known that the same geoparser can have very different performances on different datasets. Thus, this work performs a systematic evaluation of these state-of-the-art geoparsers using our recently developed benchmarking platform EUPEG that has eight annotated datasets, nine baseline geoparsers, and eight performance metrics. The evaluation result suggests that these new geoparsers indeed improve the performances of geoparsing on multiple datasets although some challenges remain.

연구 동기 및 목표

• 최신 신경망 기반 지오퍼서가 잘 정제된 텍스트에 대해 지오퍼싱을 '해결된' 것으로 간주할 수 있을 정도로 충분히 높은 성능을 달성했는지 평가하는 것.
• 이전 평가에서 하나의 데이터셋(Bio-medicine)에서만 테스트한 국한된 한계를 해결하기 위해, 다중 데이터셋 기반의 벤치마킹 플랫폼을 사용하는 것.
• 뉴스, 위키백과, 소셜 미디어, 웹 페이지 등 다양한 텍스트 장르에서 최고의 지오퍼서 성능를 체계적으로 비교하는 것.
• 모호한 지명, 철자 실수, 세밀한 위치와 같은 지오퍼싱에서 지속적으로 남아 있는 과제를 규명하는 것.
• 향후 연구를 지원하기 위해 평가된 지오퍼서와 EUPEG 벤치마킹 플랫폼(데이터셋 및 메트릭 포함)을 오픈소스로 공개하는 것.

제안 방법

• 여덟 개의 정규화된 데이터셋을 포함한 네 가지 텍스트 장르(뉴스, 위키백과, 소셜 미디어, 웹 페이지)에서 운영되는 확장 가능하고 통합된 벤치마킹 시스템인 EUPEG 플랫폼을 활용했다.
• 일致한 평가를 보장하기 위해, 공개된 방법에 기반해 최상위 세 개의 엔드 투 엔드 지오퍼서(DM_NLP, UniMelb, UArizona)를 재현했다.
• 지명 인식 및 해소에 대한 정밀도, 재현율, F1 스코어를 포함한 여덟 가지 성능 메트릭을 사용해 지오퍼서를 평가했다.
• 학습된 모델이 없는 상황에서 지명 해소를 위한 단순한 인구 수 히وري스틱을 적용하여, 시스템 간 공정한 비교를 가능하게 했다.
• 모든 데이터셋에서 세 개의 최상위 지오퍼서를 아홉 개의 베이스라인 지오퍼서와 비교하여 상대적 성과 향상을 평가했다.
• 평가된 세 개의 지오퍼서와 EUPEG 플랫폼의 소스 코드를 GitHub에 공개하여 재현 가능성과 향후 연구를 촉진했다.

실험 결과

연구 질문

• RQ1 최신 신경망 기반 지오퍼서는 생물의학 분야 외의 다양한 텍스트 장르에서도 일관되게 높은 성능를 보일 수 있는가?
• RQ2 SemEval 2019 경진대회에서 보고된 높은 성능 스코어가 다른 데이터셋과 텍스트 유형으로 일반화되는가?
• RQ3 신경망 모델의 발전에도 불구하고 여전히 지속적으로 남아 있는 지오퍼싱 과제는 무엇인가?
• RQ4 비공식적인 언어, 철자 실수, 모호한 지명을 포함한 데이터셋에서 최상위 지오퍼서는 어떻게 성능를 내는가?
• RQ5 EUPEG 플랫폼은 다양한 코퍼스와 메트릭을 기반으로 지오퍼서 평가 및 비교에 신뢰할 수 있고 확장 가능한 벤치마킹으로서 기능할 수 있는가?

주요 결과

• 세 개의 최고 성능 지오퍼서(DM_NLP, UniMelb, UArizona)는 여러 데이터셋에서 잘 정제된 주요 지명에 대해 높은 F1 스코어(>90%)를 기록하여 공식 텍스트에 대한 강력한 일반화 능력을 보였다.
• 소셜 미디어와 같은 비공식적인 텍스트 장르에서는 지명의 모호성, 철자 실수, 제한된 맥락으로 인해 정확도가 크게 떨어졌다.
• 지명의 표기 변형과 대소문자 변경에 대해 강건성을 보였지만, 표준 지도집에 포함되지 않은 세밀한 위치(예: 거리, 공원)에서는 어려움을 겪었다.
• 지명 해소에 단순한 인구 수 히وري스틱을 적용한 결과 경쟁적인 성능를 기록했으며, 이는 인구 기반의 해소 방법이 여전히 효과적이지만 모든 경우에 충분하지 않음을 시사한다.
• 평가 결과, 한 도메인(예: 생물의학)에서 학습된 지오퍼서는 다른 도메인으로 일반화하기에 부족함을 보였으며, 도메인 적응형 또는 다중 도메인 학습의 필요성을 강조한다.
• EUPEG 플랫폼은 다양한 데이터셋을 통해 체계적이고 재현 가능한 평가를 성공적으로 가능하게 하여, 향후 지오퍼싱 연구의 벤치마킹 인프라로서의 가치를 입증했다.