[논문 리뷰] Automatic Identification and Data Extraction from 2-Dimensional Plots in Digital Documents

W. Brouwer, Saurabh Kataria외 3명|ArXiv.org|2008. 09. 10.

Advanced Image and Video Retrieval Techniques참고 문헌 10인용 수 3

한 줄 요약

이 논문은 디지털 문서 내 2차원 도표의 자동 식별과 정밀한 데이터 포인트 추출(겹치는 경우 포함)을 위한 새로운 기계학습 및 영상 분석 프레임워크를 제시한다. 웨이블릿 특징, 에지 검출, 허프 변환, 시뮬레이티드 어닐링을 조합함으로써, 시스템은 2차원 도표 분류에 대해 88.25%의 정확도를 달성하고, 겹치는 데이터 포인트의 88.9–91.0%를 높은 정밀도로 복원한다. 이는 시각적 데이터의 데이터베이스 색인화와 의미 기반 검색을 가능하게 한다.

ABSTRACT

Most search engines index the textual content of documents in digital libraries. However, scholarly articles frequently report important findings in figures for visual impact and the contents of these figures are not indexed. These contents are often invaluable to the researcher in various fields, for the purposes of direct comparison with their own work. Therefore, searching for figures and extracting figure data are important problems. To the best of our knowledge, there exists no tool to automatically extract data from figures in digital documents. If we can extract data from these images automatically and store them in a database, an end-user can query and combine data from multiple digital documents simultaneously and efficiently. We propose a framework based on image analysis and machine learning to extract information from 2-D plot images and store them in a database. The proposed algorithm identifies a 2-D plot and extracts the axis labels, legend and the data points from the 2-D plot. We also segregate overlapping shapes that correspond to different data points. We demonstrate performance of individual algorithms, using a combination of generated and real-life images.

연구 동기 및 목표

• 디지털 도서관 시스템이 2차원 도표에 내장된 데이터를 색인화하지 못하는 심각한 격차를 해결하기 위해.
• 디지털 문서 내 2차원 도표를 자동으로 식별하고 축 레이블, 범례, 데이터 포인트를 포함한 구조화된 데이터를 추출하는 시스템을 개발하기 위해.
• 기존 추출 방법에서 노이즈로 간주되거나 손실되는 경우가 많은 2차원 도표 내 겹치는 데이터 포인트를 해소하는 도전 과제를 해결하기 위해.
• 학술 문서 간 의미 기반 검색과 분석을 지원하기 위해 2차원 도표에서의 엔드 투 엔드 데이터 추출을 가능하게 하기 위해.

제안 방법

• 2차원 도표를 다른 그림 유형과 구분하기 위해 영상 분할(IS), 캡션 텍스트(CT), 좌표축(CA) 특징의 조합을 사용해 선형 SVM 분류기를 훈련한다.
• 영상 특징으로는 웨이블릿 계수 히스토GRAM, 에지 검출, 허프 변환을 사용하여 선과 축을 검출함으로써 도표 식별 정확도를 향상시킨다.
• 연결 요소 분석을 통해 영상이 X축, Y축 및 플로팅 영역으로 분할되어 레이블, 범례 및 데이터 포인트에 대한 국소적 처리가 가능해진다.
• 공간적 근접성과 문자 간 일관된 간격을 기반으로 텍스트 구성 요소를 식별하며, 히ュ리스틱을 사용해 문자를 문자열로 그룹화한다.
• 겹치는 데이터 포인트는 시뮬레이티드 어닐링을 통해 해소되며, 관측된 이미지와 재구성된 형상 집합 간의 오차를 최소화하도록 후보 형상의 배치를 최적화한다.
• 시뮬레이티드 어닐링의 비용 함수는 관측된 이미지와 재구성된 형상 집합 간 차이의 그람형 행렬의 트레이스로 정의되며, 형상 배치 및 중심 검출을 안내한다.

실험 결과

연구 질문

• RQ1 웨이블릿, 에지, 허프 등의 영상 기반 특징과 캡션 텍스트 등의 텍스트 기반 특징의 조합이 디지털 문서 내 2차원 도표를 신뢰성 있게 분류할 수 있는가?
• RQ2 스토케스틱 최적화를 사용해 2차원 도표 내 겹치는 데이터 포인트를 얼마나 정확히 해소하고 중심 및 형상을 복원할 수 있는가?
• RQ3 실제 및 합성 데이터셋에서 제안된 시스템의 2차원 도표 검출 정확도와 데이터 포인트 복원 재현율은 어떠한가?
• RQ4 2차원 도표에서 추출된 데이터는 데이터베이스에 효과적으로 저장되어 의미 기반 검색 및 다중 문서 분석을 지원할 수 있는가?

주요 결과

• 모든 특징(IS, CT, CA)을 사용한 교차 검증에서 2차원 도표 분류 정확도가 88.25%에 도달했으며, 개별 또는 쌍 특징 세트보다 뛰어난 성능을 보였다.
• 테스트 세트에서의 혼동 행렬 분석 결과, 총 167개의 2차원 도표 중 134개가 정확히 식별되었고, 오직 13개의 거짓 음성만 존재하여 일반화 능력이 뛰어났다.
• 겹치는 데이터 포인트의 경우, 시뮬레이티드 어닐링 방법이 다이아몬드 모양 포인트의 88.9%와 삼각형 모양 포인트의 91.0%를 복원했으며, 이는 10,000회의 반복과 온도 상수 0.4를 사용한 결과였다.
• 반복 횟수를 늘리고 어닐링 스케줄을 느리게 하면 재현율이 향상되어 더 복잡한 설정에서도 확장 가능함을 시사했다.
• 기존 방법에서 손실되거나 혼동되는 겹치는 데이터 포인트를 성공적으로 분리함으로써, 이전에 접근 불가능했던 데이터 복원의 가능성을 입증했다.
• 이 프레임워크는 디지털 도서관 내 시각적 데이터의 의미 기반 색인화를 지원하기 위해 더 큰 그림 추출 시스템에 통합되고 있다.