[논문 리뷰] Document-Level Definition Detection in Scholarly Documents: Existing Models, Error Analyses, and Future Directions

Dongyeop Kang, Andrew Head외 4명|arXiv (Cornell University)|2020. 10. 11.

Topic Modeling참고 문헌 27인용 수 4

한 줄 요약

이 논문은 문맥적 구조를 고려한 모델링이 학술 문서 처리에서 재현율을 향상시키는 데 핵심적임을 강조하며, 문법적 특징, 트랜스포머 인코더, 히우리스틱 필터를 통합한 새로운 문서 수준 정의 탐지 시스템인 HEDDE x를 제안한다. 문서 수준 평가에서 기존 최고 성능 모델 대비 14.4 F1 포인트 향상된 성능을 기록하여, 이는 문서의 구조를 고려한 모델링의 중요성을 입증한다.

ABSTRACT

The task of definition detection is important for scholarly papers, because papers often make use of technical terminology that may be unfamiliar to readers. Despite prior work on definition detection, current approaches are far from being accurate enough to use in real-world applications. In this paper, we first perform in-depth error analysis of the current best performing definition detection system and discover major causes of errors. Based on this analysis, we develop a new definition detection system, HEDDEx, that utilizes syntactic features, transformer encoders, and heuristic filters, and evaluate it on a standard sentence-level benchmark. Because current benchmarks evaluate randomly sampled sentences, we propose an alternative evaluation that assesses every sentence within a document. This allows for evaluating recall in addition to precision. HEDDEx outperforms the leading system on both the sentence-level and the document-level tasks, by 12.7 F1 points and 14.4 F1 points, respectively. We note that performance on the high-recall document-level task is much lower than in the standard evaluation approach, due to the necessity of incorporation of document structure as features. We discuss remaining challenges in document-level definition detection, ideas for improvements, and potential issues for the development of reading aid applications.

연구 동기 및 목표

• 현재 모델들이 무작위 문장 샘플링에만 기반해 평가되는 바, 학술 문서에서 고재현율 정의 탐지의 격차를 메우기 위해.
• 최신 정의 탐지 모델의 주요 오류 원인을 식별하고 분석하여 향상 방향을 도출하기 위해.
• 문법적 특징, 트랜스포머 인코더, 히우리스틱 필터를 통합하여 정밀도와 재현율을 향상시킨 새로운 시스템 HEDDE x를 개발하기 위해.
• 문서 내 모든 문장을 평가하는 새로운 문서 수준 정의 탐지 벤치마크를 제안하고 평가하여 전체 재현율 평가가 가능하도록 하기 위해.
• 수학 기호 탐지, 정의와 서술의 구분, 실질적인 독서 보조 응용 프로그램 지원 등의 과제를 탐색하기 위해.

제안 방법

• 현재 최고 성능 모델에 대한 깊이 있는 오류 분석을 수행하여, 수학 기호 오분류 및 정의와 서술의 혼동과 같은 실패 원인을 규명하기 위해.
• 의존성 파싱 등의 문법적 특징, BERT 기반 트랜스포머 인코더, 규칙 기반 히우리스틱 필터를 통합하여 최신 모델을 확장한 HEDDE x를 설계하기 위해.
• 표준 문장 수준 벤치마크에서 HEDDE x를 평가하고, 문서 내 모든 문장을 평가하여 재현율을 측정할 수 있는 새로운 문서 수준 평가 프로토콜을 도입하기 위해.
• 섹션 구조 및 위치적 맥락과 같은 문서 수준 특징을 활용하여 첫 번째 등장하는 용어의 정의 탐지 성능을 향상시키기 위해.
• 희귀 또는 전문 용어의 커버리지 향상을 위해 데이터 증강 및 SciBERT와 같은 모델을 활용한 도메인 특화 미세조정을 적용하기 위해.
• Vanetik 등(2020)의 레이블된 수학 정의 데이터셋을 활용하여 기호 인식을 위한 훈련 데이터를 강화하기 위해.

실험 결과

연구 질문

• RQ1 학술 문서에 적용되었을 때 현재 최고 성능 정의 탐지 모델의 주요 실패 원인은 무엇인가?
• RQ2 모든 문장을 평가하는 문서 수준 평가 방식은 표준 문장 수준 샘플링 방식으로는 드러나지 않는 한계를 어떻게 드러내는가?
• RQ3 문법적 특징, 트랜스포머 인코더, 히우리스틱 필터는 문장 수준 및 문서 수준 작업에서 정의 탐지 성능을 어느 정도 향상시킬 수 있는가?
• RQ4 학술 논문에서 수학 기호 탐지 및 정의와 서술의 구분에 남아 있는 과제는 무엇인가?
• RQ5 정의 탐지 시스템은 높은 정밀도와 재현율을 확보하기 위해 실생활 독서 보조 응용 프로그램에 어떻게 적응시킬 수 있는가?

주요 결과

• HEDDE x는 표준 문장 수준 벤치마크에서 기존 최고 성능 모델 대비 12.7 F1 포인트 향상되어 정밀도와 재현율 향상이 뚜렷하게 확인되었다.
• 제안된 문서 수준 평가에서 HEDDE x는 최고 성능 모델 대비 14.4 F1 포인트 향상되어 문서 구조 인식 모델링의 중요성을 입증하였다.
• 오류 분석 결과, 수학 기호 탐지가 주요 약점으로 드러났으며, 훈련 데이터에서 커버리지가 낮아 $s^{task}$와 같은 기호에 대한 일반화 능력이 열악하였다.
• 정의와 서술의 구분은 여전히 핵심 과제로 남아 있으며, 표면 패턴은 유사하지만 의미와 구조에서 근본적으로 다름을 보였다.
• 섹션 위치 및 용어 첫 등장 패턴과 같은 문서 수준 특징은 첫 번째 용어 등장 시 탐지 성능을 크게 향상시켰다.
• 향후 시스템에서는 더 나은 데이터 커버리지(예: 레이블된 수학 정의)와 정의 유형(예: 공식적, 약어형)의 개선된 분류 필요성이 제기되었다.