[논문 리뷰] CCPM: A Chinese Classical Poetry Matching Dataset

Wenhao Li, Fanchao Qi외 3명|arXiv (Cornell University)|2021. 06. 03.

Topic Modeling참고 문헌 7인용 수 6

한 줄 요약

이 논문은 현대 중국어 번역문과 원본 시적 문장 간의 매칭을 통해 고전 시의 의미 이해 능력을 평가하기 위해 설계된 CCPM, 즉 중국 고전 시 매칭 데이터셋을 소개한다. 双어 병렬 데이터와 BERT 기반 검색을 통해 부정 샘플을 확보함으로써, BERT-Cls 모델이 84.96%의 정확도를 기록하여 중국 고전 시 생성 및 이해 시스템에서 의미 이해 능력 평가의 기준을 설정한다.

ABSTRACT

Poetry is one of the most important art forms of human languages. Recently many studies have focused on incorporating some linguistic features of poetry, such as style and sentiment, into its understanding or generation system. However, there is no focus on understanding or evaluating the semantics of poetry. Therefore, we propose a novel task to assess a model's semantic understanding of poetry by poem matching. Specifically, this task requires the model to select one line of Chinese classical poetry among four candidates according to the modern Chinese translation of a line of poetry. To construct this dataset, we first obtain a set of parallel data of Chinese classical poetry and modern Chinese translation. Then we retrieve similar lines of poetry with the lines in a poetry corpus as negative choices. We name the dataset Chinese Classical Poetry Matching Dataset (CCPM) and release it at https://github.com/THUNLP-AIPoet/CCPM. We hope this dataset can further enhance the study on incorporating deep semantics into the understanding and generation system of Chinese classical poetry. We also preliminarily run two variants of BERT on this dataset as the baselines for this dataset.

연구 동기 및 목표

• 중국 고전 시의 의미 이해 능력을 평가하기 위한 벤치마크 부족 문제를 해결하기 위해.
• 모델이 현대 중국어 번역문과 원본 시적 문장을 정확히 대응시킬 수 있는 능력을 테스트하는 새로운 시 매칭 작업을 설계하기 위해.
• 이중어 병렬 데이터와 의미적으로 유사한 부정 예시를 활용하여 대규모이자 고품질의 데이터셋을 구축하기 위해.
• 시 생성 및 분석 시스템에서 의미 모델링 향상을 위한 기준을 제공하기 위해.
• 사용자 의도 정렬을 향상시키기 위해 현대 중국어와 고전적 시어의 의미 격차를 메우기 위해.

제안 방법

• 웹 자료에서 중국 고전 시와 현대 중국어 번역문의 31,000개 이중어 쌍을 수집한다.
• 문장 분할 및 포맷 필터링을 적용하여 5자 및 7자 어미의 문장만 유지하며, 1행 및 2행의 경우를 포함한다.
• 사전 학습된 BERT-CCPoem 모델을 사용하여 원본 시 문장 간의 의미 유사도를 계산하고, 부정 샘플을 검색한다.
• 유사도 검색을 가속화하기 위해 국소성 감지 해싱(Locality Sensitive Hashing, LSH)을 활용하여 상위-k 유사 문장을 부정 후보로 추출한다.
• BERT 임베딩 유사도와 최장 공통 부분 수열(LCS) 점수의 가중 조합을 사용해 후보를 재정렬한다.
• 최종 샘플은 가장 유사한 문장을 양성 예시로, 상위 2–5 및 6–10 후보에서 각각 두 개의 문장을 부정 예시로 선택하고, 학습을 위해 무작위로 섞는다.

실험 결과

연구 질문

• RQ1 모델은 현대 중국어 번역문을 그에 해당하는 원본 중국 고전 시 문장에 정확히 매칭할 수 있는가?
• RQ2 BERT와 같은 사전 학습된 언어 모델이 중국 고전 시의 깊은 의미를 얼마나 잘 포착하는가?
• RQ3 모델링 아키텍처의 차이(예: 연결 vs. 문장 쌍 매칭)가 시 매칭 성능에 어떤 영향을 미치는가?
• RQ4 BERT 기반 의미 표현은 고전 시에서 미묘한 의미 차이를 구분하는 데 얼마나 효과적인가?
• RQ5 검색 기반의 부정 샘플 생성은 매칭 작업의 난이도와 현실성 향상에 얼마나 기여하는가?

주요 결과

• BERT-Cls 모델이 테스트 세트에서 84.96%의 최고 정확도를 기록하며 BERT-Match를 능가했다.
• BERT-Match 모델은 82.60%의 정확도를 기록하여 직접적인 문장 쌍 매칭 방식이 효과적임을 보였지만, 연결된 표현 학습 방식보다는 낮은 성능을 보였다.
• BERT-Cls 모델은 BERT의 자기주의 주의 메커니즘 덕분에 번역문과 후보 시 문장 간의 강력한 상호작용을 가능하게 하여 성능 향상을 이룬다.
• 데이터셋은 총 27,218개의 샘플로 구성되어 있으며, 훈련용 21,778개, 검증용 2,720개, 테스트용 2,720개로 분할되었으며, 5-yan과 7-yan 문장 간 균형 잡힌 분포를 보인다.
• 재정렬 과정에서 BERT 임베딩 유사도와 LCS 점수를 함께 사용함으로써 부정 후보의 품질이 향상되어 매칭 작업의 난이도가 증가했다.
• 이 데이터셋은 향후 중국 고전 시의 의미 이해 및 생성 연구를 지원하기 위해 https://github.com/THUNLP-AIPoet/CCPM 에 공개되었다.