[논문 리뷰] Web-scale Surface and Syntactic n-gram Features for Dependency Parsing

Dominick Ng, Mohit Bansal외 1명|arXiv (Cornell University)|2015. 02. 25.

Natural Language Processing Techniques참고 문헌 13인용 수 3

한 줄 요약

이 논문은 구글 북스 및 구글 문법적 n-그램 코퍼스에서 유도된 새로운 일阶 및 이阶 표면 및 문법적 n-그램 특징을 도입하여 의존성 파싱 정확도를 향상시킨다. MSTParser와 함께 이러한 상호보완적 특징을 조합함으로써 웹 텍스트에서 최대 1.4%의 절대 UAS 향상과 뉴스와이어에서 0.8%의 향상을 달성하여 도메인 내 및 도메인 외 설정에서 뚜렷한 성과 향상을 보였다.

ABSTRACT

We develop novel first- and second-order features for dependency parsing based on the Google Syntactic Ngrams corpus, a collection of subtree counts of parsed sentences from scanned books. We also extend previous work on surface $n$-gram features from Web1T to the Google Books corpus and from first-order to second-order, comparing and analysing performance over newswire and web treebanks. Surface and syntactic $n$-grams both produce substantial and complementary gains in parsing accuracy across domains. Our best system combines the two feature sets, achieving up to 0.8% absolute UAS improvements on newswire and 1.4% on web text.

연구 동기 및 목표

• 다양한 출처에서 유래한 대규모 웹 스케일 n-그램 특징을 활용하여 의존성 파싱 정확도를 향상시키는 것.
• 표면 n-그램 특징을 일阶에서 이阶 특징으로 확장하여 더 향상된 문맥 모델링을 가능하게 하는 것.
• 스캔된 책 코퍼스(구글 북스, 문법적 n-그램)가 표면 및 문법적 n-그램의 원천으로서의 유용성을 조사하는 것.
• 도메인 내(뉴스와이어) 및 도메인 외(웹 트리뱅크) 설정에서 표면 및 문법적 n-그램 특징의 상호보완성 평가.
• 다른 n-그램 원천 코퍼스(웹1T 대비 구글 북스) 및 특징 유형이 파싱 성능에 미치는 영향 평가.

제안 방법

• 웹1T 및 구글 북스 n-그램 코퍼스에서 일阶 및 이阶 표면 n-그램을 추출하며, sparsity를 줄이기 위해 log2(빈도수)/5 기반의 버킷화된 빈도 수를 사용한다.
• 3450억 단어의 스캔된 책을 기반으로 파arsed된 스탠퍼드 의존성 서브트리 수를 포함하는 구글 문법적 n-그램 코퍼스에서 문법적 n-그램 특징을 개발한다.
• 실행 시간 효율성을 향상시키기 위해 단어, 품사 태그, 방향성(주어진 왼쪽/오른쪽), 및 버킷화된 빈도(매 5단위로 나누어짐)를 사용해 특징을 인코딩한다.
• 주어-항목 의존성의 앞, 중간, 뒤에 위치한 상위 단어 및 품사 태그를 사용해 파라프라제 스타일의 문맥 특징을 생성한다.
• 학습 중에 특징 수를 사전에 계산하여 추론 속도를 향상시키며, 오차로 인한 노이즈를 줄이기 위해 최소 빈도 커파인트 10,000을 설정한다.
• 표면 및 문법적 n-그램 특징을 그래프 기반 MSTParser에 통합하여, 비표기 첨부 점수(UAS)에서의 상호보완적 성과 평가.

실험 결과

연구 질문

• RQ1 구글 북스 n-그램 코퍼스에서 유도된 이阶 표면 n-그램 특징이 일阶 특징 대비 파싱 정확도 향상에 기여하는가?
• RQ2 구글 문법적 n-그램 코퍼스에서 유도된 문법적 n-그램 특징이 표면 n-그램 특징과 비교해 도메인 간 파싱 정확도에서 어떻게 성능을 내는가?
• RQ3 표면 및 문법적 n-그램 특징이 의존성 파서에 통합되었을 때 상호보완적 향상 효과를 보이는가?
• RQ4 웹1T에서 유도된 특징과 구글 북스 n-그램 코퍼스에서 유도된 특징의 성능은 도메인 외 설정에서 어떻게 비교되는가?
• RQ5 스캔된 책 코퍼스에서 유도된 특징가 표면 n-그램의 선형 어순 의존성의 한계를 얼마나 효과적으로 완화하는가?

주요 결과

• 표면 및 문법적 n-그램 특징을 조합한 최고의 시스템은 뉴스와이어에서 92.5% UAS, 웹 텍스트에서 85.2% UAS를 달성하여 각각 기준 점수 91.7% 및 83.8% 대비 0.8% 및 1.4%의 절대 향상을 보였다.
• 구글 북스 n-그램 코퍼스에서 유도된 이阶 표면 n-그램 특징은 통계적으로 유의미한 성능 향상을 보였으며, 후자의 총 n-그램 수가 두 배임에도 불구하고 웹1T 수준의 성능을 유사하게 달성했다.
• 문법적 n-그램 특징은 특히 문법적 모호성 처리에 있어 상당한 성능 향상을 보였지만, 원천 코퍼스의 파서 및 OCR 오류로 인해 성능에 제한을 받았다.
• 웹1T와 구글 북스 간의 n-그램 쿼리 교차율은 24.7%에 불과하여 두 코퍼스 간에 의미 있는 분포적 차이가 있음을 시사하며, 이는 특징의 상호보완성의 이유를 설명할 수 있다.
• 표면 및 문법적 n-그램 특징은 상호보완적임이 확인되었으며, 통합된 시스템은 표면 n-그램의 어휘 공존성과 문법적 n-그램의 구조적 해소 능력을 모두 활용했다.
• 구글 문법적 n-그램 코퍼스에서의 OCR 및 파서 오류로 인한 잠재적 노이즈가 존재하더라도 특징 수는 강건하고 유용했으며, 특히 표면 n-그램 특징과 조합되었을 때 더욱 두드러졌다.