[논문 리뷰] DOM-LM: Learning Generalizable Representations for HTML Documents

Xiang Deng, Prashant Shiralkar외 3명|arXiv (Cornell University)|2022. 01. 25.

Web Data Mining and Analysis인용 수 9

한 줄 요약

DOM-LM는 텍스트와 DOM 트리 구조를 동시에 인코딩하여 의미적이고 구조적인 의미를 포착하는 트랜스포머 기반의 자기지도 학습 표현 학습 모델을 제안한다. 속성 추출, 개방형 정보 추출, 질의 응답 등 다양한 작업에서 기존 방법들을 능가하며, 특히 소수의 샘플(few-shot) 및 제로 샘플(-zero-shot) 설정에서 강력한 일반화 능력을 보이며 실제 웹 애플리케이션에 적합함을 입증한다.

ABSTRACT

HTML documents are an important medium for disseminating information on the Web for human consumption. An HTML document presents information in multiple text formats including unstructured text, structured key-value pairs, and tables. Effective representation of these documents is essential for machine understanding to enable a wide range of applications, such as Question Answering, Web Search, and Personalization. Existing work has either represented these documents using visual features extracted by rendering them in a browser, which is typically computationally expensive, or has simply treated them as plain text documents, thereby failing to capture useful information presented in their HTML structure. We argue that the text and HTML structure together convey important semantics of the content and therefore warrant a special treatment for their representation learning. In this paper, we introduce a novel representation learning approach for web pages, dubbed DOM-LM, which addresses the limitations of existing approaches by encoding both text and DOM tree structure with a transformer-based encoder and learning generalizable representations for HTML documents via self-supervised pre-training. We evaluate DOM-LM on a variety of webpage understanding tasks, including Attribute Extraction, Open Information Extraction, and Question Answering. Our extensive experiments show that DOM-LM consistently outperforms all baselines designed for these tasks. In particular, DOM-LM demonstrates better generalization performance both in few-shot and zero-shot settings, making it attractive for making it suitable for real-world application settings with limited labeled data.

연구 동기 및 목표

• HTML 문서를 순수 텍스트로만 다루거나 계산 비용이 큰 렌더링에 의존하는 기존 방법의 한계를 해결하기 위해.
• DOM 트리의 텍스트 콘텐츠와 구조적 의미를 모두 포착하는 일반화 가능한 표현을 학습하기 위해.
• 최소한의 레이블 데이터로도 속성 추출, 개방형 정보 추출, 질의 응답과 같은 후행 작업에서 성능을 향상시키기 위해.
• 제한된 애너테이션이 있는 실제 웹 애플리케이션에 효과적인 소수의 샘플 및 제로 샘플 일반화를 가능하게 하기 위해.
• 이전의 트리 인코딩 모델에서 히ュ리스틱 기반의 컨텍스트 구성 방식의 단점을 극복하기 위해, 구조적 컨텍스트를 갖춘 트리 표현을 학습하기 위해.

제안 방법

• DOM-LM는 트랜스포머 인코더를 사용하여 토큰과 DOM 트리 노드를 동시에 인코딩하며, 다중 위치 임베딩을 통해 구조적 정보를 통합한다.
• 사전 훈련 중에 개별 토큰과 전체 DOM 노드를 마스킹하는 자기지도 학습 방식의 마스크 언어 모델링(MLM) 목적을 적용한다.
• 모델은 슬라이딩 윈도우 메커니즘을 사용하여 관련된 구조적 컨텍스트를 유지하며, 각 단계에서 오래된 노드를 제거하고 새로운 노드를 추가한다.
• 위치 임베딩은 DOM 트리 내의 계층적 및 순차적 관계를 모델링하도록 설계되어, 구조 인식 표현 학습을 가능하게 한다.
• 최종 노드 및 토큰 표현은 속성 추출, 오픈IE, 질의 응답과 같은 후행 작업에서 미세조정된다.
• 직접 원본 HTML 소스를 사용함으로써 렌더링을 피함으로써, 시각적 특징 추출 방식에 비해 효율적이고 확장 가능하다.

실험 결과

연구 질문

• RQ1 자기지도 학습 및 구조 인식 표현 모델은 텍스트 전용 또는 시각 기반 베이스라인에 비해 HTML 문서 이해 작업에서 성능을 향상시킬 수 있는가?
• RQ2 다양한 HTML 문서에서 사전 훈련된 모델이 소수의 샘플 또는 제로 샘플 설정에서 새로운 웹사이트에 얼마나 잘 일반화되는가?
• RQ3 텍스트와 DOM 트리 구조를 함께 모델링할 경우, 반구조화된 웹 콘텐츠 내의 의미적 및 문법적 관계를 얼마나 효과적으로 포착할 수 있는가?
• RQ4 트랜스포머 인코더에 구조적 위치 임베딩을 사용할 경우, 히ュ리스틱 기반의 컨텍스트 검색보다 DOM 노드의 컨텍스트화가 더 우수한가?
• RQ5 렌더링된 시각적 특징에 의존하지 않고도, 속성 추출 및 질의 응답과 같은 작업에서 기존 방법들을 능가할 수 있는가?

주요 결과

• DOM-LM는 속성 추출, 개방형 정보 추출, 질의 응답 작업 전반에서 모든 베이스라인을 일관되게 능가한다.
• 소수의 샘플 및 제로 샘플 설정에서 뛰어난 일반화 능력을 보이며, 새로운 웹사이트와 템플릿으로의 전이 가능성(transferability)이 뛰어남을 시사한다.
• 텍스트와 구조를 함께 인코딩함으로써, 순수 텍스트만 사용할 경우 상실되는 요소 간의 관계를 포착한다.
• 노드와 토큰 예측을 마스킹한 자기지도 사전 훈련을 통해, 레이블 데이터가 필요 없이도 강력하고 일반화 가능한 표현을 학습한다.
• 렌더링 또는 시각적 특징 저장의 계산 비용을 피하면서도 최신 기술 수준(SOTA)의 성능을 달성한다.
• 모델의 성능 향상은 특히 자원이 제한된 상황에서 두드러지며, 제한된 애너테이션이 있는 실제 애플리케이션에 적합함을 입증한다.