[논문 리뷰] Parsing Tweets into Universal Dependencies

Yijia Liu, Yi Zhu외 4명|arXiv (Cornell University)|2018. 04. 23.

Natural Language Processing Techniques참고 문헌 35인용 수 5

한 줄 요약

이 논문은 유니버설 디펜던시(UD)를 사용하여 주석 처리된 55,607개 토큰을 포함하는 영어 트윗 트리뱅크인 Tweebank v2를 소개한다. 이는 소셜 미디어 특유의 현상에 대응하기 위해 UD 지침을 확장한 것으로, 20개의 파서로 구성된 앙상블에서 단일 효율적인 전이 기반 파서를 훈련하기 위한 디스틸레이션 방법을 제안한다. 이로 인해 강력한 베이스라인 대비 2.2 LAS 향상이 이루어졌으며, 정확도와 속도 면에서 최신 기술을 초월한다.

ABSTRACT

We study the problem of analyzing tweets with Universal Dependencies. We extend the UD guidelines to cover special constructions in tweets that affect tokenization, part-of-speech tagging, and labeled dependencies. Using the extended guidelines, we create a new tweet treebank for English (Tweebank v2) that is four times larger than the (unlabeled) Tweebank v1 introduced by Kong et al. (2014). We characterize the disagreements between our annotators and show that it is challenging to deliver consistent annotation due to ambiguity in understanding and explaining tweets. Nonetheless, using the new treebank, we build a pipeline system to parse raw tweets into UD. To overcome annotation noise without sacrificing computational efficiency, we propose a new method to distill an ensemble of 20 transition-based parsers into a single one. Our parser achieves an improvement of 2.2 in LAS over the un-ensembled baseline and outperforms parsers that are state-of-the-art on other treebanks in both accuracy and speed.

연구 동기 및 목표

• 비표준 언어 규칙을 위반하는 경우가 많은 비공식적이고 사용자 생성형 소셜 미디어 텍스트의 문법적 파싱 문제를 해결하기 위해.
• 비표준 토큰화, 이모지, 비공식적 문법과 같은 트윗 전용 구성요소를 수용하기 위해 유니버설 디펜던시(UD) 지침을 확장하기 위해.
• 소셜 미디어 언어의 본질적 모호성에도 불구하고 일관된 주석 처리가 이루어지는 대규모 고품질 영어 트윗 트리뱅크(Tweebank v2)를 구축하기 위해.
• 원시 트윗을 고정확도와 계산 효율성 면에서 높은 성능을 내는 유니버설 디펜던시로 파싱하는 파ip라인 시스템을 개발하기 위해.
• 새로운 트리뱅크의 주석 노이즈 문제를 해결하기 위해 20개의 탐욕적 전이 기반 파서로 구성된 앙상블을 하나의 고성능 모델로 디스틸레이션하기 위해.

제안 방법

• 비표준 토큰화, 품사 태깅, 의존성 레이블링에 대한 명시적 규칙을 포함하여, 이모지, 해시태그, URL, 비공식적 축약어와 같은 트윗 전용 현상까지 포함하는 확장된 유니버설 디펜던시 지침을 수립하였다.
• 다중 단계 주석 처리 과정과 다수의 주석자들을 활용하여 Tweebank v2에서 55,607개 토큰을 수집하고 주석 처리하였으며, 주석자 간 불일치를 분석하여 일관성 문제를 평가하였다.
• 양방향 LSTM 토크나이저, 단어 클러스터 기반 품사 태거, 문자 수준 임베딩을 활용한 스택-LSTM 의존성 파서로 구성된 3단계 파이프라인을 설계하였다.
• 20개의 탐욕적 파서로 구성된 앙상블의 지식을 통합하기 위해 새로운 디스틸레이션 방법을 제안하였으며, 하이브리드 손실을 최소화하는 방식으로, α × 디스틸레이션 손실 + (1−α) × 로그 손실을 사용한다. 여기서 α는 앙상블 지식과 오라클 감독 간의 균형을 조절한다.
• 탐색 기반 훈련을 도입하여 α=1로 설정함으로써, 디스틸레이션된 모델이 오라클 전이에 의존하지 않고 앙상블의 탐색 행동에서 학습할 수 있도록 하였다.
• LAS(라벨링 첨부 점수)를 사용하여 디스틸레이션된 파서의 성능을 평가하였으며, 베이스라인 파서와 최신 기술 파이프라인(최신 기술 구성 요소로 구성됨)과의 성능을 비교하였다.

실험 결과

연구 질문

• RQ1 비표준 형태를 포함하는 비공식적 사용자 생성 트윗의 문법적 구조를 신뢰성 있게 주석 처리하기 위해 유니버설 디펜던시를 어떻게 확장할 수 있는가?
• RQ2 주석자 간 불일치는 트윗을 해석하는 데서 발생하는 본질적 모호성의 정도를 어느 정도 반영하는가? 그리고 이러한 모호성에도 불구하고 주석 일관성을 어떻게 향상시킬 수 있는가?
• RQ3 20개의 파서로 구성된 앙상블의 지식을 활용하여, 단일 효율적인 전이 기반 파서를 훈련시켜 베이스라인 모델과 최신 기술 시스템을 모두 능가할 수 있는가?
• RQ4 오라클 표준 전이가 아닌 앙상블의 탐색 행동에서 디스틸레이션을 수행할 경우, 탐욕적 파싱 환경에서 일반화 성능이 향상되는가?

주요 결과

• Tweebank v2는 55,607개 토큰을 포함하며 Tweebank v1보다 네 배 더 크며, 공개적으로 이용 가능한 가장 큰 영어 트윗 트리뱅크로서 유니버설 디펜던시 주석 처리가 이루어진다.
• 비공식 언어의 본질적 모호성으로 인해 주석자 간 불일치 문제가 여전히 도드라지며, UD 지침을 확장한 후에도 관찰된다.
• 제안된 디스틸레이션 방법은 베이스라인 파서 대비 2.2 LAS 향상을 달성하여, 노이즈가 많은 실제 주석 처리 데이터를 다룰 때 지식 디스틸레이션의 효과를 입증한다.
• 앙상블의 탐색 행동에서 학습하는 것(α=1)은 전통적 디스틸레이션 대비 1.5점 향상되며, 전체 앙상블 성능에 1.5 LAS 포인트 내에서 도달하면서도 높은 속도를 유지한다.
• 전체 파이프라인은 스탠포드 코어엔엔피, 오와푸티 등과 도자트 등이 개발한 파서로 구성된 최신 기술 파이프라인보다 뛰어난 성능을 보이며, 특히 의존성 파싱에서 74.0 LAS 대비 71.4 LAS로 뚜렷한 우수성을 보였다.
• 오라클 토크나이저는 필수적이다: 이를 제거하면 LAS가 4점 감소하며, 트윗 파싱에서 정확한 사전 처리의 중요성을 강조한다.