[논문 리뷰] Understanding and representing the semantics of large structured documents

Muhammad Mahbubur Rahman, Tim Finin|arXiv (Cornell University)|2018. 07. 24.

Semantic Web and Ontologies참고 문헌 7인용 수 3

한 줄 요약

이 논문은 학술 논문과 RFP와 같은 대규모 구조화된 문서에서 일반 목적의 의미적 구조와 도메인 특화된 개념을 자동으로 추출하기 위해 딥러닝 기반의 문서 온톨로지 모델을 제안한다. 일반적인 구조 추출에는 변분 오토인코더(Variational Autoencoders)와 컨volution 오토인코더(Convolutional Autoencoders)를, 의미적 개념 추출에는 유니그램, 바이그램, 어구 기반 모델을 활용한 LDA를 사용하여, 높은 품질의 비지도(semi-supervised) 의미적 주석을 얻었으며, 이는 문서 분류와 강하게 상관관계가 있다.

ABSTRACT

Understanding large, structured documents like scholarly articles, requests for proposals or business reports is a complex and difficult task. It involves discovering a document's overall purpose and subject(s), understanding the function and meaning of its sections and subsections, and extracting low level entities and facts about them. In this research, we present a deep learning based document ontology to capture the general purpose semantic structure and domain specific semantic concepts from a large number of academic articles and business documents. The ontology is able to describe different functional parts of a document, which can be used to enhance semantic indexing for a better understanding by human beings and machines. We evaluate our models through extensive experiments on datasets of scholarly articles from arXiv and Request for Proposal documents.

연구 동기 및 목표

• 학술 논문과 RFP와 같은 다중 주제를 다루는 대규모 구조화된 문서의 의미적 구조를 자동으로, 비지도 방식으로 탐색하는 방법을 개발하기 위해.
• 일반 목적의 기능적 섹션(예: 서론, 결과)과 도메인 특화된 의미적 개념을 모두 포괄하는 문서 온톨로지 구축을 위해.
• 자동 주석을 통해 의미적 색인, 콘텐츠 기반 질문 응답, 복잡한 문서의 기계적 이해 향상을 위해.
• 대규모 문서 코퍼스를 기반으로 한 딥러닝을 활용하여 수동적인 온톨로지 구축 과제를 해결하기 위해.
• VAE, CAE, LDA 변형 등 다양한 자연어 처리 기법의 의미 표현 및 개념 탐색 능력을 평가하기 위해.

제안 방법

• 섹션 수준의 임베딩에 대해 변분 오토인코더(Variational Autoencoders, VAE)와 컨volution 오토인코더(Convolutional Autoencoders, CAE)를 훈련하여 문서의 일반 목적 의미적 구조를 학습하기 위해.
• 도메인 특화된 의미적 개념을 추출하기 위해, 유니그램, 바이그램, 어구 기반의 세 가지 유형의 사전을 사용한 잠재 디리클레 분할(Latent Dirichlet Allocation, LDA)을 적용하기 위해.
• 학습 섹션의 20~10% 범위에서 등장하는 용어만 유지하는 필터링 전략을 사용하여 최종 사전 크기를 100,000개 용어로 설정하기 위해.
• 다양한 주제 수와 반복 횟수를 가진 주제 모델을 생성하고, 각 섹션에 대해 확률이 높은 용어들을 의미적 개념으로 선정하기 위해.
• t-SNE를 사용해 학습된 임베딩을 시각화하여 클러스터링 품질과 다양체 학습 능력을 평가하기 위해.
• arXiv 논문과 RFP 문서를 대상으로 모델 평가를 수행하고, 다양한 LDA 설정과 문서 유형 간 성능을 비교하기 위해.

실험 결과

연구 질문

• RQ1 딥러닝 기반 오토인코더는 연구 논문과 RFP와 같은 대규모 구조화된 문서의 일반적인 의미적 구조를 효과적으로 학습할 수 있는가?
• RQ2 유니그램, 바이그램, 어구 기반 중 어떤 LDA 변형이 문서 섹션에 대해 더 의미 있고 일관성 있는 도메인 특화된 의미적 개념을 생성하는가?
• RQ3 추출된 의미적 개념이 arXiv 주제 분류와 같은 알려진 문서 분류와 어느 정도 상관관계가 있는가?
• RQ4 VAE와 CAE 모델에서 학습된 임베딩은 문서 섹션 간 의미적 유사성과 기능적 관계를 얼마나 잘 포착하는가?
• RQ5 제안된 온톨로지는 효과적인 의미적 주석을 가능하게 하고, 콘텐츠 기반 검색 및 질문 응답과 같은 후행 작업을 향상시킬 수 있는가?

주요 결과

• 바이그램 기반 LDA 모델이 유니그램 및 어구 기반 모델보다 문서 섹션에 대해 더 의미 있고 일관성 있는 주제어를 생성하는 데 뛰어난 성능을 보였다.
• LDA에 의해 추출된 상위 의미어와 원래의 arXiv 주제 분류 간에 강한 상관관계가 관찰되어, 높은 관련성과 정확도를 입증하였다.
• VAE와 CAE 모델은 임베딩 공간에서 저차원 다양체를 성공적으로 학습하여 유사한 문서 섹션의 클러스터링을 효과적으로 수행하였다.
• 컴퓨터 과학, 수학, 핵이론, 천체물리학 등 다양한 분야에서 일관된 의미적 개념 탐색을 수행하며 높은 내재성(robustness)을 보였다.
• 임베딩 시각화 결과, 헤더가 희박한 RFP 문서의 경우에도 섹션 헤더가 명확한 클러스터를 형성하는 것으로 나타나, 제한된 헤더 조건에서도 의미적 구조를 학습할 수 있음을 시사하였다.
• 온톨로지 및 주석 파이프라인은 비지도 방식으로 기능적 역할(예: 서론, 결과)과 도메인 특화된 개념(예: '단계', '자기 재결합', '딥러닝')을 효과적으로 포착하였다.