[논문 리뷰] Synthetic vs. Real Reference Strings for Citation Parsing, and the Importance of Re-training and Out-Of-Sample Data for Meaningful Evaluations: Experiments with GROBID, GIANT and Cora

Mark Grennan, Joeran Beel|arXiv (Cornell University)|2020. 04. 22.

Natural Language Processing Techniques참고 문헌 31인용 수 4

한 줄 요약

이 연구는 GROBID의 citation parser를 훈련하기 위해 합성 데이터와 실제 참조 문자열을 평가하며, GIANT 데이터셋에서 생성한 합성 데이터가 실제 데이터와 동일한 성능을 내는 것으로 입증된다 (F1 = 0.74). 재훈련은 성능을 크게 향상시켜 (+30% F1) 하고, 다양한 분야 유형을 훈련에 포함시키면 평가 대상에 포함되지 않은 분야라도 결과가 향상된다 (+13.5% F1). 이는 합성 데이터가 citation parsing 모델에 있어 실용 가능함을 입증한다.

ABSTRACT

Citation parsing, particularly with deep neural networks, suffers from a lack of training data as available datasets typically contain only a few thousand training instances. Manually labelling citation strings is very time-consuming, hence synthetically created training data could be a solution. However, as of now, it is unknown if synthetically created reference-strings are suitable to train machine learning algorithms for citation parsing. To find out, we train Grobid, which uses Conditional Random Fields, with a) human-labelled reference strings from 'real' bibliographies and b) synthetically created reference strings from the GIANT dataset. We find that both synthetic and organic reference strings are equally suited for training Grobid (F1 = 0.74). We additionally find that retraining Grobid has a notable impact on its performance, for both synthetic and real data (+30% in F1). Having as many types of labelled fields as possible during training also improves effectiveness, even if these fields are not available in the evaluation data (+13.5% F1). We conclude that synthetic data is suitable for training (deep) citation parsing models. We further suggest that in future evaluations of reference parsers both evaluation data similar and dissimilar to the training data should be used for more meaningful evaluations.

연구 동기 및 목표

• GIANT 데이터셋에서 유래한 합성 참조 문자열이 citation parsing 모델 훈련에 적합한지 평가하는 것.
• 실제 인간 라벨링된 citation 문자열과 비교하여, 합성 데이터로 훈련된 GROBID의 성능을 비교하는 것.
• 훈련 중 다양한 분야 유형의 포함 여부가 모델 효과성에 미치는 영향을 조사하는 것.
• out-of-sample 데이터의 중요성을 citation parser의 의미 있는 성능 평가에 대해 평가하는 것.
• training 및 evaluation 시스템의 근거 기반 권고 사항을 제공하는 것.

제안 방법

• GIANT 데이터셋의 합성 참조 문자열과 Cora 데이터셋의 실제 인간 라벨링 citation 문자열을 사용하여, CRF 기반 citation parser인 GROBID를 훈련시켰다.
• 모델의 F1 점수 향상 정도를 평가하기 위해 재훈련을 적용하였다.
• 평가 데이터에 존재하지 않는 분야 유형조차도 훈련에 포함된 다양한 레이블링 필드를 통합하였다.
• 훈련 중에 볼 수 없었던 데이터인 out-of-sample 데이터를 사용하여 모델의 일반화 능력과 견고성을 평가하였다.
• 여러 실험 설정에서 F1 점수를 주요 지표로 성능을 측정하였다.
• 훈련 데이터 유형(합성 대 실제), 재훈련 조건, 필드 다양성에 따라 결과를 비교하여 핵심 성능 요인을 규명하였다.

실험 결과

연구 질문

• RQ1 GIANT 데이터셋에서 유래한 합성 참조 문자열은 실제 인간 라벨링 데이터와 동일한 성능을 내기 위해 citation parsing 모델 훈련에 효과적으로 사용될 수 있는가?
• RQ2 합성 또는 실제 데이터로 훈련된 citation parser인 GROBID의 F1 성능에 재훈련이 미치는 영향은 어떠한가?
• RQ3 훈련 중에 더 넓은 범위의 레이블링 필드를 포함시키면, 평가 대상에 포함되지 않더라도 parser 성능이 향상되는가?
• RQ4 out-of-sample 데이터는 citation parser 평가의 타당성을 어느 정도 향상시키는가?
• RQ5 합성 데이터는 citation parsing 시스템의 훈련 및 평가에 실제 데이터의 실용적 대안이 될 수 있는가?

주요 결과

• GIANT 데이터셋의 합성 참조 문자열은 GROBID 훈련에 실제 인간 라벨링 문자열과 동일한 F1 점수(0.74)를 기록하였다.
• 모델의 재훈련은 합성 및 실제 훈련 데이터 모두에서 F1 점수를 30% 향상시켜 그 영향력이 뚜렷하다는 것을 입증하였다.
• 훈련 중 다양한 분야 유형을 포함시키면 평가 데이터에 존재하지 않더라도 F1 점수가 13.5% 향상되었으며, 이는 성능 향상에 기여함을 시사한다.
• 연구는 합성 데이터가 citation parsing 모델 훈련에 실용적이고 효과적인 대안임을 입증하였다.
• 평가 시 유사 및 비유사 out-of-sample 데이터를 모두 활용하면 더 의미 있고 견고한 성능 평가가 가능하다.
• 재훈련과 다양한 분야 표현의 적용이 수반될 경우, 합성 데이터의 citation parser 훈련에 대한 활용을 지지한다.