[논문 리뷰] Detecting Table Region in PDF Documents Using Distant Supervision

Miao Fan, Doo Soon Kim|arXiv (Cornell University)|2015. 06. 29.

Handwritten Text Recognition Techniques참고 문헌 6인용 수 12

한 줄 요약

이 논문은 ACL 앙드로이드에서 대량의 레이블이 없는 학술 논문을 활용하여, PDF 내에서 개방형 도메인 표 영역 검출을 위한 원격 지도 학습 파рад림을 제안한다. 레이아웃 특징, 품사 태그, 명명된 실체를 앙상블 분류기(Naive Bayes, Logistic Regression, SVM)와 조합하여, 인간의 수동 레이블링 노력 최소화로도 도메인 내(ACL) 및 도메인 외(ICDAR 2013) 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한 시스템 PdfExtra가 개발되었다.

ABSTRACT

Superior to state-of-the-art approaches which compete in table recognition with 67 annotated government reports in PDF format released by {\it ICDAR 2013 Table Competition}, this paper contributes a novel paradigm leveraging large-scale unlabeled PDF documents to open-domain table detection. We integrate the paradigm into our latest developed system ({\it PdfExtra}) to detect the region of tables by means of 9,466 academic articles from the entire repository of {\it ACL Anthology}, where almost all papers are archived by PDF format without annotation for tables. The paradigm first designs heuristics to automatically construct weakly labeled data. It then feeds diverse evidences, such as layouts of documents and linguistic features, which are extracted by {\it Apache PDFBox} and processed by {\it Stanford NLP} toolkit, into different canonical classifiers. We finally use these classifiers, i.e. {\it Naive Bayes}, {\it Logistic Regression} and {\it Support Vector Machine}, to collaboratively vote on the region of tables. Experimental results show that {\it PdfExtra} achieves a great leap forward, compared with the state-of-the-art approach. Moreover, we discuss the factors of different features, learning models and even domains of documents that may impact the performance. Extensive evaluations demonstrate that our paradigm is compatible enough to leverage various features and learning models for open-domain table region detection within PDF files.

연구 동기 및 목표

• 비용이 많이 드는 수동 레이블링에 의존하지 않고 PDF 문서 내 표 영역을 검출하는 데 도전하는 것.
• 다양한 문서 레이아웃과 도메인에 일반화 가능한 확장 가능한 개방형 도메인 솔루션을 개발하는 것.
• 레이아웃 특징, 언어적 특징, 다수의 분류기 조합이 검출 정확도 향상에 미치는 영향을 평가하는 것.
• 특징 조합, 학습 모델, 도메인 이동이 표 영역 검출 성능에 미치는 영향을 조사하는 것.

제안 방법

• ACL 앙드로이드에서 확보한 9,466개의 레이블이 없는 PDF에 히우리스틱 규칙를 적용하여 약한 레이블이 부여된 훈련 데이터를 자동으로 생성한다.
• Apache PDFBox를 사용해 레이아웃 특징(예: 공간적 정렬, 줄 간격)을 추출하고, Stanford NLP 툴킷을 통해 품사 태그와 명명된 실체를 추출한다.
• 약한 레이블이 부여된 데이터를 기반으로 세 가지 표준 분류기(Naive Bayes, Logistic Regression, Support Vector Machine)를 훈련시킨다.
• 세 분류기의 예측 결과를 다수결 투표 방식으로 통합하여 테스트 문서 내 표 영역을 예측한다.
• 학술 PDF에서 훈련하고, 도메인 내(ACL) 및 도메인 외(ICDAR 2013) 테스트 세트에서 평가하는 파라다임을 활용한다.
• 특징 조합(레이아웃 전용, 레이아웃 + POS, 전체 특징)과 데이터셋 간 분류기 성능을 평가한다.

실험 결과

연구 질문

• RQ1 원격 지도 학습 접근법이 표 영역 검출의 레이블링 비용을 크게 줄이면서도 높은 정확도를 유지할 수 있는가?
• RQ2 레이아웃 특징과 언어적 특징의 다양한 조합이 검출 성능에 어떤 영향을 미치는가?
• RQ3 다양한 도메인에서 표 영역을 검출할 때, 다양한 지도 학습 분류기(Naive Bayes, Logistic Regression, SVM) 간 성능 비교는 어떻게 되는가?
• RQ4 학술 PDF에서 훈련한 모델이 레이아웃이 다른 정부 문서로의 일반화 능력은 어느 정도인가?
• RQ5 도메인 이동이 제안된 검출 파라다임의 성능에 어떤 영향을 미치는가?

주요 결과

• PdfExtra는 ACL 앙드로이드 테스트 세트에서 F1-측정치 0.8022를 기록하여 최신 기술 수준의 히우리스틱 기반 베이스라인(F1 = 0.4444)을 크게 앞서 갔다.
• ICDAR 2013 도메인 외 테스트 세트에서, ACL 데이터로 훈련한 PdfExtra는 F1-측정치 0.7683을 기록하여 강력한 도메인 간 일반화 성능을 입증했다.
• ICDAR 2013 데이터셋에서는 레이아웃 특징과 품사 태그의 조합(NAM + PTD)이 가장 우수한 성능을 보였고, ACL 앙드로이드에서는 전체 특징 통합(NAM + PTD + NEP)이 최고의 성능을 기록했다.
• Naive Bayes 분류기가 도메인 내 및 도메인 외 평가에서 가장 안정적인 성능을 보였다.
• 품사 태그와 명명된 실체와 같은 언어적 특징의 통합은 레이아웃 전용 특징에 비해 성능 향상에 상당한 기여를 하였다.
• 도메인 이동에 대한 시스템의 강인함은 원격 지도 학습 파라다임이 개방형 도메인 표 검출에 효과적임을 확인시켰다.