[논문 리뷰] Chinese Discourse Segmentation Using Bilingual Discourse Commonality

Jingfeng Yang, Sujian Li|arXiv (Cornell University)|2018. 08. 30.

Natural Language Processing Techniques참고 문헌 40인용 수 6

한 줄 요약

이 논문은 중국어 문단 분할을 위한 다국어 적대 신경망 프레임워크를 제안하며, 중국어에 레이블이 붙은 데이터의 부족을 보완하기 위해 영어 레이블이 붙은 문단 데이터를 활용한다. 적대적 훈련을 통해 双어 문단 공통성을 활용함으로써, 언어에 종속되지 않는 특징과 언어별 특징을 학습하며, 제한된 중국어 훈련 데이터로도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Discourse segmentation aims to segment Elementary Discourse Units (EDUs) and is a fundamental task in discourse analysis. For Chinese, previous researches identify EDUs just through discriminating the functions of punctuations. In this paper, we argue that Chinese EDUs may not end at the punctuation positions and should follow the definition of EDU in RST-DT. With this definition, we conduct Chinese discourse segmentation with the help of English labeled data.Using discourse commonality between English and Chinese, we design an adversarial neural network framework to extract common language-independent features and language-specific features which are useful for discourse segmentation, when there is no or only a small scale of Chinese labeled data available. Experiments on discourse segmentation demonstrate that our models can leverage common features from bilingual data, and learn efficient Chinese-specific features from a small amount of Chinese labeled data, outperforming the baseline models.

연구 동기 및 목표

• 초기 문단 단위(EDU) 분할을 위한 고품질의 RST 준수 중국어 문단 레이블 데이터 부족 문제를 해결하기 위해.
• 중국어 EDU는 구두점 경계에 국한되어서는 안 되며, RST-DT에서와 마찬가지로 의미적 및 문법적 기준을 따라야 한다고 주장하기 위해.
• 풍부한 영어 레이블 데이터에서부터 저자원 중국어 문단 분할에 대한 문단 지식을 전이하는 방법을 개발하기 위해.
• 적대적 훈련을 통해 언어에 종속되지 않는 공통 특징과 언어별 특징을 동시에 학습하는 프레임워크를 설계하기 위해.
• 다국어 문단 공통성이 중국어 EDU 분할 성능 향상에 기여하는지 평가하기 위해.

제안 방법

• 언어에 종속되지 않는 특징 추출을 위한 공통 BiLSTM과 언어별 특징 학습을 위한 두 개의 독립 BiLSTM을 갖춘 적대적 신경망 프레임워크를 설계하였다.
• 언어 적대적 훈련을 적용하여 공통적인 문단 패턴과 언어별 특징을 분리함으로써 영어에서 중국어로 지식 전이가 가능하도록 하였다.
• 다국어 일치를 향상시키고 언어 간 전이 가능성을 높이기 위해 유니버설 POS 태그를 입력 임베딩으로 사용하였다.
• 모델은 영어 문단 데이터에서 엔드 투 엔드로 훈련되고, 소규모 중국어 코퍼스에서 시퀀스 레이블링 설정을 통해 미세조정되었다.
• 프레임워크는 문단 분할을 시퀀스 레이블링 작업으로 간주하며, BiLSTM 출력 위에 CRF 레이어를 적용하여 EDU 경계를 예측한다.
• 공통 특징의 도메인 불변성을 보장하기 위해 언어 식별기(discriminator)를 도입하여, 모델이 언어적 특수성보다는 문단 구조에 관련된 특징을 학습하도록 하였다.

실험 결과

연구 질문

• RQ1 대규모 레이블이 없는 상황에서 영어와 중국어 간의 문단 공통성을 효과적으로 활용하여 중국어 EDU 분할 성능을 향상시킬 수 있는가?
• RQ2 적대적 훈련을 통해 추출한 언어에 종속되지 않는 특징이 중국어 문단 분할 성능에 의미 있게 기여하는가?
• RQ3 유니버설 POS 태그 사용이 다국어 문단 특징 학습에 언어별 특화된 POS 태그 사용보다 더 효과적인가?
• RQ4 중국어 레이블 데이터의 양이 증가함에 따라 모델 성능은 어떻게 변화하는가?
• RQ5 모델이 단순히 단일 언어 또는 비적대적 다국어 학습에 의존하는 기준 모델을 능가할 수 있는가?

주요 결과

• 제안된 모델은 중국어 문단 분할에서 기준 모델을 능가하며, 적대적 특징 학습을 통한 영어 레이블 데이터 활용의 효과성을 입증한다.
• 중국어 훈련 데이터가 200개 문장 뿐이어도 성능 향상이 뚜렷하게 나타나, 높은 데이터 효율성을 보여준다.
• 유니버설 POS 태그 사용이 언어별 특화된 태그셋 사용보다 성능을 더 좋게 하여, 다국어 문단 모델링에서의 가치를 확인한다.
• 전체 모델과 NoAdvers 버전 간의 성능 격차는 공통적인 언어에 종속되지 않는 특징이 분할 정확도에 의미 있게 기여함을 보여준다.
• 중국어 훈련 데이터가 증가함에 따라 모델 성능이 계속 향상되며, 더 많은 레이블 데이터로도 효과적으로 확장될 수 있음을 시사한다.