[논문 리뷰] GCDT: A Chinese RST Treebank for Multigenre and Multilingual Discourse Parsing

Siyao Peng, Yang Janet Liu외 1명|arXiv (Cornell University)|2022. 10. 19.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 영어 RST 코퍼스와 동일한 관계 체계를 사용하는 60,000개 이상의 토큰을 포함한 가장 큰 중국어 RST 트리뱅크인 GCDT를 소개한다. 다국어 임베딩과 자동 EDU 번역을 활용한 다국어 학습을 통해 단국어 및 다국어 RST 파서링에서 최고 성능을 달성하였으며, 더 작은 중국어 데이터셋에서의 미세조정(fine-tuning)은 성능을 향상시키고, 다국어 학습은 전체적으로 가장 우수한 성능을 보였다.

ABSTRACT

A lack of large-scale human-annotated data has hampered the hierarchical discourse parsing of Chinese. In this paper, we present GCDT, the largest hierarchical discourse treebank for Mandarin Chinese in the framework of Rhetorical Structure Theory (RST). GCDT covers over 60K tokens across five genres of freely available text, using the same relation inventory as contemporary RST treebanks for English. We also report on this dataset's parsing experiments, including state-of-the-art (SOTA) scores for Chinese RST parsing and RST parsing on the English GUM dataset, using cross-lingual training in Chinese and English with multilingual embeddings.

연구 동기 및 목표

• 모국어 중국어를 위한 대규모이고 인간이 애너테이션한 RST 트리뱅크의 부족으로 인해 계층적 논의 분석이 저해되고 있는 문제를 해결하기 위해.
• 기존 영어 RST 표준과 일치하는 고품질의 다장르 중국어 RST 코퍼스를 구축하여 다국어 호환성을 확보하기 위해.
• 공통된 애너테이션 프레임워크를 사용하여 중국어 및 영어 데이터셋에서의 단국어 및 다국어 논의 분석 성능을 평가하기 위해.
• 다국어 학습, 미세조정, 자동 번역의 효과가 저자원 언어 및 고자원 언어에서의 분석 성능 향상에 기여하는지 조사하기 위해.
• 다양한 텍스트 유형에서의 성능 변동을 분석하여 모델의 일반화 능력 이해를 위해.

제안 방법

• 저자들은 영어 RST 코퍼스와 동일한 RST 애너테이션 지침과 관계 체계를 사용하여, 중국어를 위한 60,000토큰, 다섯 장르의 RST 트리뱅크인 GCDT를 구축하였다.
• GCDT에서 중국어 RoBERTa 임베딩을 사용한 단국어 학습을 수행하여 중국어 데이터셋에서 최고 성능(SOTA)을 달성하였다.
• GCDT와 영어 GUM 코퍼스를 결합하여 XLM-RoBERTa-base를 다국어 임베딩 모델로 사용함으로써 다국어 학습을 수행하였다.
• 영어 데이터와 함께 공동 학습한 후, 더 작은 중국어 GCDT 데이터셋에서의 미세조정을 적용하여 중국어 성능을 향상시켰지만, 영어 성능에는 악영향을 미쳤다.
• Google Translate를 통해 자동으로 EDU 수준의 번역을 수행하여 훈련 데이터를 증강하였으며, 이는 보다 높은 성능을 보이는 단국어 임베딩의 사용을 가능하게 하였다.
• 표준 RST 파서링 평가 지표(관계 수준 및 스펜 수준의 F1 점수)를 사용하여 다양한 테스트 시나리오와 장르에서 성능을 평가하였다.

Figure 1: A RST subtree with two relative clauses annotated as elaboration-attribute and same-unit in GCDT_academic_dingzhen with automatic $zh\rightarrow en$ translations appended after the source Chinese texts.

실험 결과

연구 질문

• RQ1 영어 RST 코퍼스와 동일한 애너테이션 지침과 관계 체계를 갖춘 대규모 다장르 중국어 RST 트리뱅크를 구축할 수 있는가?
• RQ2 중국어와 영어 데이터를 함께 학습함으로써 단국어 학습 대비 두 언어에서 논의 분석 성능이 향상되는가?
• RQ3 더 작은 중국어 데이터셋(GCDT)에서의 미세조정은 공동 학습만으로는 달성하지 못한 성능 향상을 가져오는가? 그리고 더 큰 영어 데이터셋으로 일반화되는가?
• RQ4 영어 논의 단위를 자동으로 EDU 수준에서 번역하는 것이 중국어 분석 성능 향상에 기여하는가, 특히 단국어 임베딩과 조합했을 때 효과가 있는가?
• RQ5 다양한 장르에서 중국어 논의 분석의 성능와 인간 애너테이터 간 일치도는 어떻게 변화하는가?

주요 결과

• 단국어 RoBERTa 임베딩이 단국어 학습에서 다국어 임베딩보다 우수한 성능을 보였으며, hfl/chinese-roberta-wwm-ext는 GCDT에서 F_Rel 51.76을 기록하였다.
• GCDT와 GUM-12(12개 장르)를 함께 학습한 결과 전체적으로 가장 높은 성능을 기록하였으며, GCDT에서 F_Rel은 52.61로 단국어 학습을 초월하였다.
• GCDT에서의 미세조정은 더 작은 중국어 데이터셋에서 성능을 향상시켜 F_Rel을 50.45에서 52.61로 상승시켰지만, 더 큰 영어 GUM 데이터셋에서는 성능 저하를 초래하였다.
• 자동 EDU 수준 번역과 단국어 임베딩을 조합한 결과, 네 가지 테스트 시나리오 중 세 개에서 가장 높은 성능을 기록하여 저자원 언어 분석에 효과적임을 입증하였다.
• 장르별 분석 결과, '방법 설명' 장르(whow)가 가장 정확하게 분석되었으며, 인간의 기준에 가장 가까운 성능를 보였지만, 이 장르에서 성능 향상 여전히 도전 과제로 남아 있었다.
• 장르 간 성능 차이가 뚜렷하게 나타났으며, 학술 논문은 방법 설명 장르보다 더 어려운 편이었고, 이는 장르 특성이 분석 난이도에 중대한 영향을 미친다는 것을 시사한다.

Figure 2: A RST subtree with attribution-positive scoping over causal-cause from GCDT_academic_dingzhen with automatic $zh\rightarrow en$ translation.