[논문 리뷰] Improving Chinese Story Generation via Awareness of Syntactic Dependencies and Semantics

Henglin Huang, Chen Tang외 3명|arXiv (Cornell University)|2022. 10. 19.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 문법적 의존 구조 분석과 의미 표현 학습을 향상시키기 위해 의존성 태깅과 동의어 노이즈 제거 학습을 통합한 새로운 프레임워크를 제안한다. LongLM 기반 생성기와 통합함으로써, BLEU-n 및 총점과 같은 핵심 지표에서 최대 10% 향상을 기록하며 기존 최고 성능(SOTA) 기준보다 뚜렷한 성능 향상을 보이며, 저구분자 중국어 텍스트에서 개선된 언어적 특징 캡처의 이점을 입증한다.

ABSTRACT

Story generation aims to generate a long narrative conditioned on a given input. In spite of the success of prior works with the application of pre-trained models, current neural models for Chinese stories still struggle to generate high-quality long text narratives. We hypothesise that this stems from ambiguity in syntactically parsing the Chinese language, which does not have explicit delimiters for word segmentation. Consequently, neural models suffer from the inefficient capturing of features in Chinese narratives. In this paper, we present a new generation framework that enhances the feature capturing mechanism by informing the generation model of dependencies between words and additionally augmenting the semantic representation learning through synonym denoising training. We conduct a range of experiments, and the results demonstrate that our framework outperforms the state-of-the-art Chinese generation models on all evaluation metrics, demonstrating the benefits of enhanced dependency and semantic representation learning.

연구 동기 및 목표

• 문자 분리 구분자가 부족하고 문법적 모호성이 높은 중국어 장문 서사 생성의 과제를 해결하기 위해.
• 모르포로지적 모호성으로 인해 식별이 어려운 중국어에서 문법적 의존성(예: 주어, 목적어 등)을 인식할 수 있는 신경망 모델의 능력을 향상시키기 위해.
• 유사어 표현을 인식함으로써 의미적 강건성을 향상시키고, 의미적으로 동일하지만 어휘적으로 다른 표현들 간의 혼동을 줄이기 위해.
• 의존성 태깅과 의미 노이즈 제거를 통합한 데이터 증강 프레임워크를 개발하여 중국어에서의 언어 이해 및 생성 품질을 향상시키기 위해.
• 명시적인 문법적 및 의미적 특징 모델링이 스토리의 통일성, 유창성, 다양성 측면에서 측정 가능한 성과 향상에 기여하는지 입증하기 위해.

제안 방법

• 프레임워크는 중국어 문장의 핵심 문법적 역할(예: nsubj, dobj, root 등)을 식별하기 위해 HanLP를 사용하여 의존성 분석을 수행하며, 문장 이벤트의 구조적 표현을 가능하게 한다.
• 의존성 태깅 모듈은 입력 스토리에 목표 레이블(nsubj, root, dobj, pobj 등)을 삽입하여 생성기가 문법적 구조를 이해하는 데 도움을 준다.
• SimBert 기반의 의미 노이즈 제거 모듈은 동의어 표현(예: '여행하기'에 대한 '유랑하다', '순환하다', '방문하다' 등)을 사용해 입력 문구의 재구성된 버전을 생성함으로써, 모델이 강건한 의미 표현을 학습하도록 유도한다.
• 조건부 생성기로 LongLM 기반 모델(223M 파라미터)을 사용하며, 입력 개요에 더해 의존성 및 의미 신호를 통합한다.
• 학습 과정에서 의존성 태깅과 의미 노이즈 제거를 동시에 적용하여 문법적 인식 능력과 의미 일반화 능력을 함께 향상시킨다.
• LOT 벤치마크에서 미세조정을 수행하며, 유창성, 다양성, 입력 개요와의 일치도 평가를 위해 BLEU-n, Distinct-n, Coverage, Order 지표를 사용한다.

실험 결과

연구 질문

• RQ1 명시적인 문법적 의존성 모델링이 중국어 스토리 생성의 통일성과 유창성 향상에 기여하는가?
• RQ2 동의어 교체를 통한 의미 노이즈 제거가 중국어 스토리 생성의 강건성과 다양성 향상에 기여하는가?
• RQ3 의존성 및 의미 인식 메커니즘을 동시에 적용한 모델가 단일 또는 무모델 기반 모델보다 얼마나 더 뛰어난가?
• RQ4 제안된 프레임워크는 중국어 스토리 생성에서 자동 평가 지표 측면에서 SOTA 모델보다 어떻게 비교되는가?
• RQ5 의존성 구문 분석과 의미 노이즈 제거의 통합이 중국어의 형태학적 모호성으로 인한 과제를 완화하는 데 기여하는가?

주요 결과

• 제안된 모델은 검증 및 테스트 세트에서 BLEU-n 및 총합 점수를 포함한 여러 지표에서 SOTA LongLM 라지 모델보다 최대 10% 향상된 성능을 기록했다.
• LongLM 베이스 모델 대비 총합 점수에서 10% 향상된 성능을 기록하며, 파라미터 수가 더 적은 상황에서도 뚜렷한 성과 향상을 입증했다.
• Coverage 점수 향상으로, 입력 개요의 문구와 생성된 스토리 간의 일치도가 향상되었으며, 특히 입력이 순서 없이 제공된 경우에 뚜렷한 향상이 관찰되었다.
• Order 점수 향상으로, 입력 문구의 위치 순서를 더 잘 유지하는 것으로 나타나, 논리적 흐름의 통일성이 향상됨을 보여주었다.
• Distinct-n 점수 상승으로, 의미 노이즈 제거 모듈이 생성 텍스트의 다양성 향상에 뚜렷한 기여를 했다는 것을 확인했다.
• 제거 실험 결과, 의존성 태깅과 의미 노이즈 제거 모두 독립적으로 기여하며 상호 보완적으로 작용함을 확인하였으며, 전체 모델이 대부분의 지표에서 모든 제거 변형보다 뛰어난 성능을 보였다.