[논문 리뷰] What You Get Is What You See: A Visual Markup Decompiler.

Yuntian Deng, Anssi Kanervisto외 1명|arXiv (Cornell University)|2016. 09. 16.

Handwritten Text Recognition Techniques참고 문헌 34인용 수 59

한 줄 요약

이 논문은 렌더링된 이미지를 정확한 표현 마크업으로 변환하는 딥러닝 기반의 시각적 마크업 복원 도구를 제시한다. 이 도구는 대상 언어에 대한 사전 지식이 없이도 작동하며, 레이아웃과 텍스트 인식을 위한 통합 컨볼루션 네트워크와 어텐션 기반 신경 기계 번역 모델을 사용하여 LaTeX 수식과 HTML 스니펫에 대해 75%의 정확한 재현율을 달성한다. 이는 도메인 특화 OCR 시스템보다 뚜렷이 뛰어난 성능이다.

ABSTRACT

Building on recent advances in image caption generation and optical character recognition (OCR), we present a general-purpose, deep learning-based system to decompile an image into presentational markup. While this task is a well-studied problem in OCR, our method takes an inherently different, data-driven approach. Our model does not require any knowledge of the underlying markup language, and is simply trained end-to-end on real-world example data. The model employs a convolutional network for text and layout recognition in tandem with an attention-based neural machine translation system. To train and evaluate the model, we introduce a new dataset of real-world rendered mathematical expressions paired with LaTeX markup, as well as a synthetic dataset of web pages paired with HTML snippets. Experimental results show that the system is surprisingly effective at generating accurate markup for both datasets. While a standard domain-specific LaTeX OCR system achieves around 25% accuracy, our model reproduces the exact rendered image on 75% of examples.

연구 동기 및 목표

• 표현 마크업 언어에 대한 사전 지식이 필요 없이 일반 목적의 데이터 기반 시스템을 개발하여, 렌더링된 이미지를 표현 마크업으로 복원하는 것.
• 기존 OCR의 한계를 해결하기 위해 언어별 규칙나 템플릿에 의존하지 않고, 실제 렌더링된 예시에서 학습하는 것.
• 학습 및 평가를 위해 사용할 수 있는 렌더링된 수학 수식과 해당 LaTeX 마크업을 포함한 새로운 데이터셋을 제안하는 것.
• 모델의 성능을 실제 수학 수식과 HTML 마크업이 포함된 합성 웹 페이지에서 평가하는 것.
• 엔드 투 엔드로 학습된 접근 방식이 전통적인 수작업 기반 OCR 시스템보다 정확도와 일반화 능력에서 뛰어나다는 것을 입증하는 것.

제안 방법

• 입력 이미지의 시각적 특징을 추출하기 위해 컨볼루션 신경망을 사용한다. 이는 레이아웃과 텍스트 요소 모두에 적용된다.
• 시각적 특징을 기반으로 엔드 투 엔드 OCR 구성 요소를 통해 텍스트 인식을 수행한다.
• 검출된 텍스트와 시각적 구성 요소의 공간적 및 맥락적 분석을 통해 레이아웃 구조를 유추한다.
• 어텐션 기반 신경 기계 번역 모델을 통해 인식된 레이아웃과 텍스트에서 대상 마크업(LaTeX 또는 HTML)을 생성한다.
• 모델은 마크업 언어에 대한 아키텍처적 편향 없이, 실세계 및 합성 이미지-마크업 쌍으로 엔드 투 엔드로 훈련된다.
• 학습 및 평가를 위해 렌더링된 수학 수식과 LaTeX 마크업을 포함한 새로운 데이터셋과 HTML 마크업이 포함된 합성 웹 페이지 데이터셋을 제안한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 마크업 언어에 대한 사전 지식 없이도 렌더링된 이미지를 정확한 마크업으로 복원할 수 있는가?
• RQ2 엔드 투 엔드로 데이터 기반으로 학습된 접근 방식의 마크업 복원 성능가 장기적인 도메인 특화 OCR 시스템과 비교해 볼 때 어떻게 되는가?
• RQ3 단일 모델이 수학 수식과 웹 페이지와 같은 다양한 유형의 렌더링 콘텐츠에 대해 얼마나 잘 일반화되는가?
• RQ4 레이아웃과 텍스트 인식을 동시에 처리하는 방식이 마크업 생성 정확도에 어떤 영향을 미치는가?
• RQ5 실세계 예시에서 학습된 모델이 렌더링된 이미지에서 정확한 마크업을 재현하는 데 높은 정밀도를 달성할 수 있는가?

주요 결과

• 모델은 렌더링된 LaTeX 수식에 대해 75%의 정확한 일치율을 달성했으며, 이는 표준 도메인 특화 LaTeX OCR 시스템의 약 25% 정확도보다 뚜렷이 뛰어난 성능이다.
• 시스템은 실제 수학 수식과 합성 웹 페이지 모두에 효과적으로 일반화되어 있으며, 다양한 콘텐츠 유형에 대한 강건성을 입증한다.
• 어텐션 기반 신경 기계 번역 구성 요소는 복잡한 마크업 구조를 시각적 입력에서 정확하게 생성하는 데 기여한다.
• 레이아웃과 텍스트 인식을 위한 컨볼루션 네트워크를 통합적으로 사용함으로써, 별도로 처리하는 것보다 구조적 정확도가 향상된다.
• LaTeX 마크업과 함께 렌더링된 수학 수식을 포함한 제안된 데이터셋은 시각적 복원 모델의 고정밀도 학습 및 평가를 가능하게 한다.
• 실세계 예시를 기반으로 한 엔드 투 엔드 훈련은 규칙 기반 또는 템플릿 기반 OCR 시스템보다 뛰어난 성능을 낳는다.