[논문 리뷰] Ashaar: Automatic Analysis and Generation of Arabic Poetry Using Deep Learning Approaches

Zaid Alyafeai, Maged S. Al-Shaibani외 1명|arXiv (Cornell University)|2023. 07. 12.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 메트릭 분류, 음절 표기, Arudi 스타일 예측, 주제 조건부 시 생성 등의 작업을 위해 네 개의 공공 데이터셋과 다섯 개인 사전 훈련 모델을 활용하는 딥러닝 프레임워크 Ashaar를 소개한다. 이 시스템은 생성된 시에서 메트릭 분류의 상위 5위 정확도가 71.13%이며, 제로샷 평가에서 음절 표기 오류율이 50.28%로 나타나, 아랍 시의 구조적 분석 및 생성 능력이 뛰어나다는 것을 보여준다.

ABSTRACT

Poetry holds immense significance within the cultural and traditional fabric of any nation. It serves as a vehicle for poets to articulate their emotions, preserve customs, and convey the essence of their culture. Arabic poetry is no exception, having played a cherished role in the heritage of the Arabic community throughout history and maintaining its relevance in the present era. Typically, comprehending Arabic poetry necessitates the expertise of a linguist who can analyze its content and assess its quality. This paper presents the introduction of a framework called extit{Ashaar} https://github.com/ARBML/Ashaar, which encompasses a collection of datasets and pre-trained models designed specifically for the analysis and generation of Arabic poetry. The pipeline established within our proposed approach encompasses various aspects of poetry, such as meter, theme, and era classification. It also incorporates automatic poetry diacritization, enabling more intricate analyses like automated extraction of the extit{Arudi} style. Additionally, we explore the feasibility of generating conditional poetry through the pre-training of a character-based GPT model. Furthermore, as part of this endeavor, we provide four datasets: one for poetry generation, another for diacritization, and two for Arudi-style prediction. These datasets aim to facilitate research and development in the field of Arabic poetry by enabling researchers and enthusiasts to delve into the nuances of this rich literary tradition.

연구 동기 및 목표

• 딥러닝을 활용한 아랍 시 분석 및 생성을 위한 표준화된 도구와 데이터셋의 부족을 해결하기 위해.
• 메트릭, 주제, 시대, Arudi 구조와 같은 시적 요소의 자동 분석을 전용 모델을 통해 가능하게 하기 위해.
• 메트릭, 끝말韵(quaifiyah), 주제에 따라 조건부로 시를 생성할 수 있도록 캐릭터 기반 GPT 모델을 미세조정함으로써 조건부 시 생성을 촉진하기 위해.
• 미래의 아랍어 계산어학 연구를 지원하기 위해 메트릭, 음절 표기, Arudi 표현, tafeelat에 대한 공개 접근이 가능한 고품질 데이터셋을 제공하기 위해.
• 특히 음절 표기 및 리듬 유지 능력에서 제로샷 및 피처샷 설정에서 모델의 생성 및 분석 성능을 평가하기 위해.

제안 방법

• 프레임워크는 트랜스포머 기반 및 캐릭터 수준의 모델을 활용해 메트릭 분류, 음절 표기, Arudi 스타일 예측을 통합한 파이프라인을 구현한다.
• 지정된 메트릭, 끝말韵(quaifiyah), 주제에 따라 조건부로 시를 생성하기 위해 캐릭터 기반 GPT 모델을 미세조정한다.
• 네 개의 공공 데이터셋을 정제하였다: Ashaar(메트릭, 주제, 시대로 레이블링), Ashaar diacritized(정제된, 음절 표기된 시), Ashaar arudi(골드 수준의 Arudi 표현), Ashaar tafeelah(각 메트릭에 대한 완전한 tafeelat).
• 음절 표기 모델은 미세조정 없이도 WER 및 DER 지표를 평가하기 위해 샘플링 전략을 사용한 제로샷 설정에서 평가된다.
• 생성된 시의 메트릭 분류 평가는 1,500개의 생성된 시에 대해 다수결 투표 방식을 통해 이루어지며, 상위 n위 정확도는 n=1, 3, 5에서 측정된다.
• 모델은 10층의 수정된 GPT-2 아키텍처를 사용하며, 캐릭터 수준 토크나이저로 훈련되어 아랍 문자의 형태학적 및 음절 표기 정보를 유지한다.

Figure 1: General pipeline for Ashaar.

실험 결과

연구 질문

• RQ1 딥러닝 프레임워크는 메트릭, 주제, 시대를 포함한 아랍 시 구조의 분석을 효과적으로 자동화할 수 있는가?
• RQ2 사전 훈련된 캐릭터 기반 GPT 모델이 메트릭, 끝말韵(quaifiyah), 주제에 따라 일관되고 리듬적으로 정확한 시를 생성할 수 있는 정도는 어느 정도인가?
• RQ3 미세조정 없이도 제로샷 음절 표기 모델이 미리 보지 않은 아랍 시 텍스트에서 어느 정도의 성능을 보일 수 있는가?
• RQ4 시 구절에서 Arudi 스타일 구조를 예측하는 데 시스템의 성능은 어떠한가?
• RQ5 생성된 시의 리듬 평가 및 메트릭 분류에서 이 프레임워크는 최신 기술 대비 어떤 성능을 보이는가?

주요 결과

• 생성된 시의 메트릭 분류에서 상위 5위 정확도가 71.13%를 기록하여, 더 작은 모델 크기임에도 불구하고 이전 연구를 능가한다.
• 샘플링 확률이 7일 때 제로샷 음절 표기 모델의 음절 표기 오류율(DER)이 50.28%를 기록하여, 미세조정 없이도 중간 정도이지만 유망한 성능을 보였다.
• 다양한 샘플링 확률에서 WER와 DER가 각각 92% 이하, 50% 이하로 유지되어 제로샷 음절 표기에서 강력한 성능을 보였다.
• 생성된 시의 메트릭 분류에 대한 혼동 행렬은 더 인기 있는 메트릭일수록 더 높은 정확도로 예측되었으며, 50% 이상의 메트릭에서 90% 이상의 신뢰도를 확보하였다.
• 리듬 평가에서 상위 1위 정확도가 64.40%를 기록하여, 이전 BPE 토크나이저 모델의 56.70%를 초월하여 리듬적 구조를 더 잘 인코딩하고 있음을 시사한다.
• 정제된 데이터셋인 Ashaar, Ashaar diacritized, Ashaar arudi, Ashaar tafeelah은 공개적으로 배포되어 재현 가능성과 향후 아랍어 시 자연어 처리 분야의 연구를 가능하게 한다.

Figure 3: Confusion matrix for era classification.