[논문 리뷰] Integrating and querying similar tables from PDF documents using deep learning

Rahul Anand, Hye-Young Paik외 1명|arXiv (Cornell University)|2019. 01. 15.

Data Quality and Management참고 문헌 25인용 수 3

한 줄 요약

이 논문은 Google News 단어 임베딩을 사용하여 유사한 재무 표를 PDF 문서 간에 질의하고 통합하는 딥러닝 기반 파이프라인을 제안한다. 표 유형 분류와 단어 임베딩 기반 행 유사도 검색을 통해 기존의 텍스트 매칭 방법보다 뛰어난 성능을 보이며, 수동 스키마 정의 없이 비정형 PDF 데이터를 효과적으로 자동 분석할 수 있다. 평균 87.84%의 히트율을 달성한다.

ABSTRACT

Large amount of public data produced by enterprises are in semi-structured PDF form. Tabular data extraction from reports and other published data in PDF format is of interest for various data consolidation purposes such as analysing and aggregating financial reports of a company. Queries into the structured tabular data in PDF format are normally processed in an unstructured manner through means like text-match. This is mainly due to that the binary format of PDF documents is optimized for layout and rendering and do not have great support for automated parsing of data. Moreover, even the same table type in PDF files varies in schema, row or column headers, which makes it difficult for a query plan to cover all relevant tables. This paper proposes a deep learning based method to enable SQL-like query and analysis of financial tables from annual reports in PDF format. This is achieved through table type classification and nearest row search. We demonstrate that using word embedding trained on Google news for header match clearly outperforms the text-match based approach in traditional database. We also introduce a practical system that uses this technology to query and analyse finance tables in PDF documents from various sources.

연구 동기 및 목표

• 수동 스키마 정의 없이 이질적인 PDF 문서 간에 유사도 기반으로 재무 표를 자동으로 질의할 수 있도록 하는 것.
• 기존의 데이터 통합 방법을 방해하는 PDF 내 일관되지 않은 표 레이아웃과 스키마 문제를 해결하는 것.
• 비정형이고 공개된 PDF 보고서에서 빠르게 데이터 통합과 분석을 지원하는 실용적인 시스템을 개발하는 것.
• 딥러닝 기반 단어 임베딩이 반구조화된 데이터에서 흐린 행 매칭을 위한 기존 데이터베이스 문자열 유사도보다 우수한 성능을 보이는지 입증하는 것.

제안 방법

• 표 구조를 유지하고 HTML 태그를 사용해 파싱할 수 있도록 PDF를 HTML로 변환하는 방법.
• 머리글 내용과 레이아웃 특징을 기반으로 딥러닝 모델이 표를 유형(예:损益計算書,貸借対照表 등)으로 분류하는 방법.
• Google News에서 학습된 단어 임베딩을 사용해 행 및 열 헤더를 조밀한 벡터로 인코딩하여 의미 유사도 계산을 수행하는 방법.
• 임bedded 헤더 벡터 간의 코사인 거리를 사용해 행 유사도를 계산함으로써, 다양한 용어 체계를 가진 표 간에도 흐린 매칭을 가능하게 하는 방법.
• 행 매칭에서 PostgreSQL의 trigram 기반 문자열 유사도(pg_trgm)와 비교해 유사도가 뛰어나다는 것을 입증한 방법.
• 사용자가 이 임베딩 기반 방법을 사용해 여러 PDF 문서 간에 유사한 행을 질의하고 브라우징할 수 있는 프로토타입 웹 인터페이스 제공.

실험 결과

연구 질문

• RQ1 기존의 텍스트 매칭 방법과 비교해 딥러닝 기반 단어 임베딩이 PDF에서 추출한 재무 표의 행 유사도 매칭 정확도를 향상시키는가?
• RQ2 다양한 레이아웃과 용어 체계를 가진 다양한 PDF 문서 간에 유사한 표를 그룹화하는 데 있어 표 유형 분류의 효과는 어떠한가?
• RQ3 정의된 스키마 없이도 통합된 임베딩 공간이 다양한 문서 간에 유사한 재무 표 행을 질의하는 데 얼마나 효과적인가?
• RQ4 예측된 단어 임베딩(예: Google News)이 재무 표 데이터의 의미 매칭에 있어 커스텀 트레이닝된 임베딩보다 우수한 성능을 보이는가?
• RQ5 이 파이프라인을 기반으로 한 시스템이 데이터 분석가가 수동 데이터 수집 없이도 비정형 PDF 데이터에 대해 실질적이고 인터랙티브한 질의를 수행할 수 있도록 지원하는가?

주요 결과

• Google News 단어 임베딩 모델은 표 간에 유사한 행을 식별하는 데 평균 87.84%의 히트율을 달성하여, PostgreSQL의 trigram 기반 유사도 검색(75.08% 히트율)보다 뚜렷이 뛰어난 성능을 보였다.
• 커스텀 단어 임베딩은 평균 83.15%의 히트율을 기록하여, 이 맥락에서 사전 학습된 임베딩이 의미 유사도 매칭에 더 효과적임을 시사했다.
• 개별 표 샘플에 대해서는, 어휘가 희박하거나 고유한 경우, PostgreSQL이 엄격한 어휘 매칭 덕분에 단어 임베딩을 뛰어넘는 성능을 보이기도 했다.
• 표 유형 분류는 높은 정확도를 기록했으며, 임베딩 공간 내에서 명확한 유형 클러스터링이 관찰되어 효과적인 의미 분리가 이루어졌음을 나타냈다.
• 이 시스템은 수동 스키마 정의 없이도 딥러닝 기반 의미 매칭을 통해 PDF 간 재무 데이터의 실질적이고 자동화된 질의를 가능하게 한다는 점을 입증했다.
• 프로토타입 시스템은 공개된 PDF 보고서에서 빠른 데이터 통합과 분석을 가능하게 하여, 수동 데이터 추출이나 고가의 데이터 소스 의존도를 감소시켰다.