[논문 리뷰] Machine Learning vs. Rules and Out-of-the-Box vs. Retrained: An Evaluation of Open-Source Bibliographic Reference and Citation Parsers

Dominika Tkaczyk, Andrew Collins외 2명|arXiv (Cornell University)|2018. 02. 04.

Natural Language Processing Techniques인용 수 6

한 줄 요약

이 논문은 기계학습 기반 접근법과 규칙 기반 접근법, 그리고 기본 설정 모델과 재학습된 모델을 비교하여 열 개의 오픈소스 참조 및 인용 구문 파서의 성능을 평가한다. 기계학습 도구는 규칙 기반 도구보다 재현율(0.66 대 0.22)에서 뚜렷한 우월성을 보이며, GROBID가 기본 설정 상태에서 가장 높은 F1 점수(0.89)를 기록한다. 또한 모든 도구에서 재학습이 성능 향상에 기여하며, CERMINE(+11%)와 ParsCit(+16%)에서 특히 두드러진 향상이 관찰된다.

ABSTRACT

Bibliographic reference parsing refers to extracting machine-readable metadata, such as the names of the authors, the title, or journal name, from bibliographic reference strings. Many approaches to this problem have been proposed so far, including regular expressions, knowledge bases and supervised machine learning. Many open source reference parsers based on various algorithms are also available. In this paper, we apply, evaluate and compare ten reference parsing tools in a specific business use case. The tools are Anystyle-Parser, Biblio, CERMINE, Citation, Citation-Parser, GROBID, ParsCit, PDFSSA4MET, Reference Tagger and Science Parse, and we compare them in both their out-of-the-box versions and versions tuned to the project-specific data. According to our evaluation, the best performing out-of-the-box tool is GROBID (F1 0.89), followed by CERMINE (F1 0.83) and ParsCit (F1 0.75). We also found that even though machine learning-based tools and tools based on rules or regular expressions achieve on average similar precision (0.77 for ML-based tools vs. 0.76 for non-ML-based tools), applying machine learning-based tools results in a recall three times higher than in the case of non-ML-based tools (0.66 vs. 0.22). Our study also confirms that tuning the models to the task-specific data results in the increase in the quality. The retrained versions of reference parsers are in all cases better than their out-of-the-box counterparts; for GROBID F1 increased by 3% (0.92 vs. 0.89), for CERMINE by 11% (0.92 vs. 0.83), and for ParsCit by 16% (0.87 vs. 0.75).

연구 동기 및 목표

• 실제 비즈니스 환경에서 열 개의 오픈소스 참조 및 인용 파서의 성능을 평가하고 비교하는 것.
• 기계학습 기반 파서가 정확성과 내성 면에서 규칙 기반 또는 정규표현식 기반 파서보다 뛰어나지 않는지 평가하는 것.
• 프로젝트 전용 데이터를 사용한 재학습이 파서 성능에 미치는 영향을 조사하는 것.
• 디지털 도서관 및 학술 텍스트 처리에서 고정밀도, 고재현율의 참조 메타데이터 추출에 가장 효과적인 도구와 설정을 식별하는 것.

제안 방법

• Anystyle-Parser, Biblio, CERMINE, Citation, Citation-Parser, GROBID, ParsCit, PDFSSA4MET, Reference Tagger, Science Parse 등 열 개의 오픈소스 참조 및 인용 파서를 선정.
• 프로젝트 전용 데이터셋을 사용하여 각 파서의 기본 설정 및 재학습된 설정을 평가.
• 표준 정보 검색 메트릭스인 정밀도, 재현율, F1 점수를 사용하여 도구 및 설정 간 성능을 비교.
• 서로 다른 아키텍처를 가진 도구 간 공정한 비교를 보장하기 위해 일관된 평가 프로토콜과 레이블이 부여된 참조 기준 데이터를 사용.
• 도메인 적응을 위해 기계학습 기반 도구를 프로젝트 전용 데이터로 재학습하여 성능 향상 여부를 평가.
• 기계학습 기반 및 규칙 기반 도구로 도구를 분류하여 상대적 성능 특성을 비교.

실험 결과

연구 질문

• RQ1 실제 데이터셋에서 기계학습 기반 참조 파서는 규칙 기반 파서에 비해 정밀도와 재현율 측면에서 어떻게 비교되는가?
• RQ2 동일한 파서의 기본 설정과 재학습된 설정 간 성능 차이는 무엇인가?
• RQ3 기본 설정 및 재학습된 설정에서 가장 높은 F1 점수를 기록한 파서는 무엇인가?
• RQ4 도메인 특화된 재학습이 참조 및 인용 파서의 성능에 얼마나 큰 영향을 미치는가?
• RQ5 기계학습 기반 파서는 일관되게 규칙 기반 파서를 능가하는가? 만약 그렇다면 어떤 메트릭에서 그런가?

주요 결과

• 기본 설정 파서 중 GROBID가 가장 높은 F1 점수(0.89)를 기록했으며, 이는 CERMINE(0.83)과 ParsCit(0.75)에 이어진다.
• 기계학습 기반 도구는 정밀도가 유사한 수준(0.77 대 0.76)이지만 재현율에서 뚜렷한 우월성을 보이며(0.66 대 0.22), 이는 기계학습 도구의 성능 우수성을 뒷받침한다.
• 모든 파서에서 재학습이 성능 향상에 기여했으며, 상대적 향상률이 가장 높은 것은 ParsCit(+16% F1), 이어 CERMINE(+11%)와 GROBID(+3%)였다.
• GROBID의 재학습된 버전은 F1 점수 0.92를 기록하여 기본 설정 성능(0.89)을 초월했다.
• CERMINE의 F1 점수는 재학습 후 0.83에서 0.92로 상승하여 도메인 특화 데이터에 대한 강력한 적응 능력을 보였다.
• ParsCit의 F1 점수는 재학습 후 0.75에서 0.87로 상승하여, 중간 수준의 성능을 보이는 도구도 미세조정을 통해 크게 향상될 수 있음을 시사한다.