[논문 리뷰] OCR++: A Robust Framework For Information Extraction from Scholarly Articles

Mayank Singh, Barnopriyo Barua외 9명|arXiv (Cornell University)|2016. 09. 21.

Biomedical Text Mining and Ontologies인용 수 16

한 줄 요약

OCR++는 조건부 확률장(CRF)과 수작업 규칙을 활용하여 학술 PDF에서 메타데이터, 구조적 요소(예: 단락 제목, 표, 그림) 및 참고문헌 정보를 추출하는 오픈소스 하이브리드 프레임워크이다. 최신 기술 대비 정확도 50% 향상과 처리 속도 52% 향상을 달성하였으며, 특히 OCR 오류와 포맷팅 다양성에도 불구하고 구조적 정보 추출에서 뛰어난 성능을 발휘한다.

ABSTRACT

This paper proposes OCR++, an open-source framework designed for a variety of information extraction tasks from scholarly articles including metadata (title, author names, affiliation and e-mail), structure (section headings and body text, table and figure headings, URLs and footnotes) and bibliography (citation instances and references). We analyze a diverse set of scientific articles written in English language to understand generic writing patterns and formulate rules to develop this hybrid framework. Extensive evaluations show that the proposed framework outperforms the existing state-of-the-art tools with huge margin in structural information extraction along with improved performance in metadata and bibliography extraction tasks, both in terms of accuracy (around 50% improvement) and processing time (around 52% improvement). A user experience study conducted with the help of 30 researchers reveals that the researchers found this system to be very helpful. As an additional objective, we discuss two novel use cases including automatically extracting links to public datasets from the proceedings, which would further accelerate the advancement in digital libraries. The result of the framework can be exported as a whole into structured TEI-encoded documents. Our framework is accessible online at http://cnergres.iitkgp.ac.in/OCR++/home/.

연구 동기 및 목표

• OCR 오류와 다양한 포맷 스타일에도 불구하고 구조적 정보를 추출할 수 있는 견고하고 오픈소스 프레임워크 개발
• 기존 최고 수준의 성능을 뛰어넘는 구조적 정보 추출(예: 단락 제목, 표, 그림) 향상
• PDF에서 메타데이터(제목, 저자, 이메일) 및 참고문헌 정보(인용 및 참고문헌)의 정확한 추출 지원
• 자연어처리(NLP) 학술 회의 논문에서 공개 데이터셋 링크 자동 추출과 같은 신규 활용 사례 지원
• 디지털 도서관 간 상호운용성을 위해 표준화된 TEI 인코딩 문서로 결과 내보내기 지원

제안 방법

• 공간적 및 문체적 메타데이터(예: x/y 좌표, 폰트 크기, 굵기)를 유지하는 rich XML로 입력 PDF를 변환하기 위해 pdf2xml 사용
• 공간 거리와 문체적 차이(예: 폰트 크기, 굵기)를 기반으로 텍스트를 논리적 블록으로 분할하여 구조적 단위 식별
• 상대적 위치, 폰트 크기, 대문자/소문자, 굵기 등의 특징을 사용하여 레이블링된 학습 인스턴스(제목: 6,300개, 저자 이름: 6,300개)를 기반으로 CRF 모델 훈련
• 저자 이름의 모호성 제거를 위해 수작업 규칙 및 히ュ리스틱 적용(예: y좌표 차이, 탭 구분), 이메일 패턴 탐지(예: @, .com) 적용
• 인용 인스턴스에 대한 규칙 기반 모호성 제거 및 위치적, 문법적 신호를 활용해 참조 항목에 매핑
• 특정 단락 이름(예: '서론', '메서드')을 일반 카테고리(예: 배경, 방법)로 매핑하여 단락별 인용 분석 지원

실험 결과

연구 질문

• RQ1 CRF 모델과 수작업 규칙을 조합한 하이브리드 프레임워크가 학술 논문의 구조적 정보 추출에서 순수 기계학습 기반 시스템을 능가할 수 있는가?
• RQ2 다양한 출판사에서 공통적으로 적용되는 일반적인 포맷 패턴을 얼마나 효과적으로 활용하여 OCR 영향을 받는 문서의 견고성 향상에 기여할 수 있는가?
• RQ3 OCR++의 성능은 메타데이터, 구조, 참고문헌 추출 과제에서 최신 기술 대비 어떻게 비교되는가?
• RQ4 OCR++는 학술 회의 논문에서 공개 데이터셋 링크 자동 추출과 같은 새로운 활용 사례를 가능하게 할 수 있는가?
• RQ5 레이아웃 및 문체적 특징이 학술 PDF에서 정보 추출 정확도에 미치는 영향은 어떠한가?

주요 결과

• OCR++는 최신 기술 대비 평균 정확도 50% 향상과 처리 시간 52% 감소를 달성하였으며, 특히 구조적 정보 추출에서 뛰어난 성능을 보였다.
• 프레임워크는 단락 제목, 표 및 그림 레이블, 발언, URL 추출에서 기존 도구를 능가하여 OCR 오류에 대한 뛰어난 내성성 입증
• 30명의 연구자 대상 사용자 경험 연구에서 OCR++는 학술 정보 추출 작업에서 매우 유용하다고 평가됨
• 시스템은 ACL 앙트로로지 논문에서 공개 데이터셋 링크를 성공적으로 추출하여 디지털 도서관 향상에 새로운 활용 사례 제공
• 특정 단락 이름(예: '메서드' → '방법')을 일반 카테고리로 매핑함으로써 단락별 인용 분포 분석 가능
• pdf2xml에서의 OCR 오류 및 비영어 문자 제한에도 불구하고, 규칙 기반 필터링과 맥락 히ュ리스틱을 통해 높은 성능 유지