[논문 리뷰] A Benchmark of Rule-Based and Neural Coreference Resolution in Dutch Novels and News

Corbèn Poot, Andreas van Cranenburgh|arXiv (Cornell University)|2020. 11. 03.

Topic Modeling참고 문헌 35인용 수 10

한 줄 요약

이 논문은 네덜란드어 뉴스/위키백과(SoNaR-1) 및 문학 소설(RiddleCoref) 데이터셋에서 규칙 기반 공현의 처리 시스템(dutchcoref)과 신경망 엔드 투 엔드 시스템(e2e-Dutch)을 벤치마킹한다. 신경망 모델은 뉴스 텍스트에서 규칙 기반 시스템을 앞서며, 문학 텍스트에서는 반대로 규칙 기반 시스템이 뛰어난 성능을 보여, 도메인에 따라 성능 차이가 발생하고, 애너테이션 품질과 문서 길이가 네덜란드어 공현의 처리 성능에 미치는 영향을 시사한다.

ABSTRACT

We evaluate a rule-based (Lee et al., 2013) and neural (Lee et al., 2018) coreference system on Dutch datasets of two domains: literary novels and news/Wikipedia text. The results provide insight into the relative strengths of data-driven and knowledge-driven systems, as well as the influence of domain, document length, and annotation schemes. The neural system performs best on news/Wikipedia text, while the rule-based system performs best on literature. The neural system shows weaknesses with limited training data and long documents, while the rule-based system is affected by annotation differences. The code and models used in this paper are available at https://github.com/andreasvc/crac2020

연구 동기 및 목표

• 뉴스/위키백과와 문학 소설이라는 두 개의 상이한 도메인에서 네덜란드어 텍스트에 대해 규칙 기반 및 신경망 공현의 처리 시스템의 성능을 평가하고 비교하는 것.
• 도메인 차이, 문서 길이, 애너테이션 체계가 네덜란드어 규칙 기반 및 신경망 공현의 처리 시스템 성능에 미치는 영향을 조사하는 것.
• 학습 데이터 크기와 언급 식별 품질이 공현의 처리 결과에 미치는 영향을 분석하는 것.
• 애너테이션 오류와 싱글턴 처리가 시스템 평가 지표에 미치는 영향을 평가하는 것.
• 기존 및 새로 도입된 코퍼스를 사용하여 향후 연구를 위한 네덜란드어 공현의 처리 벤치마크를 제공하는 것.

제안 방법

• 네덜란드어 BERT 기반 토큰 표현을 사용하여 Lee 등(2018)의 엔드 투 엔드 신경망 공현의 처리 시스템 e2e-Dutch를 적응시켰다.
• Stanford 공현의 처리 시스템에서 유도된 규칙 기반 시스템 dutchcoref(van Cranenburgh, 2019)를 두 데이터셋에 모두 적용하였다.
• 두 코퍼스에서 시스템을 평가하였다: SoNaR-1(뉴스/위키백과, 581개 문서, 약 100만 단어)과 RiddleCoref(문학 소설, 23개 문서, 평균 길이가 길음).
• 다양한 조건에서 실험을 수행하였다: 골드 언급 대비 예측된 언급, 싱글턴 포함/제외, 다양한 학습 데이터 크기.
• 두 시스템에 대한 오류 분석을 수행하였으며, 애너테이션 일관성 부족, 언급 경계 오류, 누락된 지시어 연결을 중심으로 분석하였다.
• 표준 공현의 처리 평가 지표(MUC, B3, CEAF)를 사용하였고, 도메인 및 설정 간 결과를 비교하였다.

실험 결과

연구 질문

• RQ1 규칙 기반 및 신경망 공현의 처리 시스템은 네덜란드어 뉴스/위키백과와 문학 소설 텍스트에서 어떻게 성능을 발휘하는가?
• RQ2 문서 길이와 코퍼스 크기가 네덜란드어 신경망 및 규칙 기반 공현의 처리 시스템 성능에 어떤 영향을 미치는가?
• RQ3 SoNaR-1 코퍼스의 애너테이션 일관성 부족이 시스템 평가 및 성능 비교에 어떤 영향을 미치는가?
• RQ4 언급 식별 품질이 후속 공현의 처리 성능에 어느 정도 영향을 미치는가?
• RQ5 싱글턴 처리 및 언급 경계 오류는 시스템 점수와 순위에 어떤 영향을 미치는가?

주요 결과

• 골드 언급을 사용할 경우 신경망 시스템(e2e-Dutch)은 SoNaR-1에서 80.61% F1을 기록하여 규칙 기반 시스템(70.90% F1)을 크게 앞서며, 뉴스/위키백과 텍스트에서 뛰어난 성능을 보임을 시사한다.
• 골드 언급을 사용할 경우 규칙 기반 시스템(dutchcoref)은 RiddleCoref에서 75.84% F1을 기록하여 신경망 시스템(72.01% F1)을 앞서며, 문학 소설에서 뛰어난 성능을 보임을 보여준다.
• 신경망 시스템은 RiddleCoref 코퍼스의 장문 문서에서 성능 저하를 보이며, 장기 공현 사슬 처리에 한계가 있음을 시사한다.
• 규칙 기반 시스템은 애너테이션 차이, 특히 SoNaR-1에서 누락된 연결과 일관성 없는 경계로 인해 더 낮은 점수를 받는 데 더 민감함을 보였다.
• 평가에서 싱글턴을 제외할 경우 점수에 큰, 직관에 어긋나는 영향을 미쳤으며, 특히 SoNaR-1에서 두드러져 애너테이션 품질과 평가 설정이 결과에 큰 영향을 미친다는 것을 시사한다.
• 오류 분석을 통해 SoNaR-1에서 체계적인 애너테이션 문제, 예를 들어 'Amsterdam', 'Hilversum'과 같은 정확한 문자열 매칭이 연결되지 않은 경우와 'Japix'와 같은 언급 누락이 성능 격차의 원인이 되었을 가능성이 확인되었다.