[논문 리뷰] Something Old, Something New: Grammar-based CCG Parsing with Transformer Models

Stephen Clark|arXiv (Cornell University)|2021. 09. 21.

Natural Language Processing Techniques참고 문헌 72인용 수 8

한 줄 요약

이 논문은 Transformer 기반 신경 모델과 상징적 Combinatory Categorial Grammar (CCG) 파서를 융합한 하이브리드 접근법을 제안한다. 다중 태거를 사용한 슈퍼태깅과 기존의 문법 기반 파서와의 통합을 통해, CCGbank 테스트 세트에서 레이블된 의존성에 대해 93.0%의 새로운 최고 성능 F-스코어를 달성하며, 완전문장 정확도는 54%를 초과하여 이전 시스템에 비해 상당한 향상을 보였다.

ABSTRACT

This report describes the parsing problem for Combinatory Categorial Grammar (CCG), showing how a combination of Transformer-based neural models and a symbolic CCG grammar can lead to substantial gains over existing approaches. The report also documents a 20-year research program, showing how NLP methods have evolved over this time. The staggering accuracy improvements provided by neural models for CCG parsing can be seen as a reflection of the improvements seen in NLP more generally. The report provides a minimal introduction to CCG and CCG parsing, with many pointers to the relevant literature. It then describes the CCG supertagging problem, and some recent work from Tian et al. (2020) which applies Transformer-based models to supertagging with great effect. I use this existing model to develop a CCG multitagger, which can serve as a front-end to an existing CCG parser. Simply using this new multitagger provides substantial gains in parsing accuracy. I then show how a Transformer-based model from the parsing literature can be combined with the grammar-based CCG parser, setting a new state-of-the-art for the CCGbank parsing task of almost 93% F-score for labelled dependencies, with complete sentence accuracies of over 50%.

연구 동기 및 목표

• 신경 모델과 상징적 문법 체계를 융합하여 CCG 파싱 정확도를 향상시키는 것.
• 순수 신경 모델 또는 순수 상징적 CCG 파서의 한계를 보완하기 위해 하이브리드 아키텍처를 설계하는 것.
• Transformer의 맥락적 강점을 활용해 슈퍼태깅을 수행하면서도 CCG의 구조적 인덕티브 바이어스를 유지하는 것.
• 특히 레이블된 의존성 및 완전문장 정확도에서 CCGbank 벤치마크에서 최고 성능을 달성하는 것.
• 현대 NLP에서 구성적이고 구조화된 언어 이해를 위한 문법 기반 신경 모델의 실현 가능성 탐색

제안 방법

• Tian 등 (2020)의 Transformer 모델 기반 다중 태거를 사용해 CCG 슈퍼태깅을 수행하며, 단어에 대한 문법 카테고리 할당을 수행한다.
• 이 다중 태거는 기존의 슈퍼태깅 컴포넌트를 대체하여 상징적 CCG 파서의 프론트엔드로 기능한다.
• 신경 모델 기반 스코어링과 상징적 유도 규칙를 융합한 Transformer 기반 신경 파서를 통합한다.
• 정확도와 속도의 균형을 위해 다양한 범위의 빔 너비를 사용한 빔 서치를 적용하며, 효율성을 높이기 위해 스카머 모드를 도입한다.
• 전방/후방 적용, 타입 상승, 전방 조합 등의 조합 규칙을 사용해 문장 구조의 이동과 추출을 처리한다.
• CCGbank 테스트 세트(섹션 00)에서 평가하여 F-스코어, 문장 정확도, 파싱 속도를 측정한다.

실험 결과

연구 질문

• RQ1 Transformer 기반 신경 슈퍼태거가 상징적 파서와 통합되었을 때 CCG 파싱 정확도에 상당한 향상을 이룰 수 있는가?
• RQ2 신경 스코어링과 상징적 조합 규칙의 융합이 CCGbank에서의 파싱 성능에 어떤 영향을 미치는가?
• RQ3 하이브리드 파서에서 빔 너비를 변화시킬 경우 정확도와 속도 사이의 상호 교환 관계는 어떻게 되는가?
• RQ4 어느 정도의 수준에서 문법 기반 신경 모델은 이전의 신경 및 상징적 CCG 파서를 초월할 수 있는가?
• RQ5 낮은 빔 너비에서도 이러한 하이브리드 시스템이 높은 정확도를 유지할 수 있는가? 이는 검색 제약 조건에 대한 강건성을 시사한다.

주요 결과

• 하이브리드 시스템은 CCGbank 테스트 세트에서 레이블된 의존성에 대해 93.0%의 새로운 최고 성능 F-스코어를 기록했다.
• 완전문장 정확도는 CCGbank 테스트 세트에서 54%에 도달하여 이전 방법들에 비해 뚜렷한 우월성을 보였다.
• 빔 너비가 8일 때조차도 높은 정확도(93.0%)를 유지하며, 빔 너비 4일 경우에만 약간의 하락(91.7%)을 보였다.
• CPU에서 약 100문장/초의 파싱 속도를 기록하여, 최적화되지 않은 자바 구현임에도 불구하고 실용적인 효율성을 입증했다.
• 스카머 모드 적용 비율(%)은 빔 너비 64일 경우에 불과 0.9%에 그쳐 주 파서의 높은 신뢰성을 시사한다.
• 이전의 시프트-리덕션 파싱 연구에서 관찰된 바와 같이, 신경 모델이 광범위한 검색의 필요성을 줄이는 데 효과적이라는 점이 결과로 확인되었다.