[논문 리뷰] Learning meters of Arabic and English poems with Recurrent Neural Networks: a step forward for language understanding and synthesis

Waleed A. Yousef, Omar M. Ibrahime외 2명|arXiv (Cornell University)|2019. 05. 07.

Natural Language Processing Techniques인용 수 16

한 줄 요약

이 논문은 수작업 특징 추출 없이 아랍어 및 영어 시의 운율을 분류하기 위한 문자 수준의 순환 신경망(RNN) 접근법을 제안하며, 아랍어에서는 96.38%의 정확도, 영어에서는 82.31%의 정확도를 달성한다. 또한, 자연어처리 연구를 위한 공개된 첫 번째 대규모 정제된 데이터셋(150만 개 이상의 시 구절 포함)을 제공한다.

ABSTRACT

Recognizing a piece of writing as a poem or prose is usually easy for the majority of people; however, only specialists can determine which meter a poem belongs to. In this paper, we build Recurrent Neural Network (RNN) models that can classify poems according to their meters from plain text. The input text is encoded at the character level and directly fed to the models without feature handcrafting. This is a step forward for machine understanding and synthesis of languages in general, and Arabic language in particular. Among the 16 poem meters of Arabic and the 4 meters of English the networks were able to correctly classify poem with an overall accuracy of 96.38\\% and 82.31\\% respectively. The poem datasets used to conduct this research were massive, over 1.5 million of verses, and were crawled from different nontechnical sources, almost Arabic and English literature sites, and in different heterogeneous and unstructured formats. These datasets are now made publicly available in clean, structured, and documented format for other future research. To the best of the authors' knowledge, this research is the first to address classifying poem meters in a machine learning approach, in general, and in RNN featureless based approach, in particular. In addition, the dataset is the first publicly available dataset ready for the purpose of future computational research.

연구 동기 및 목표

• 언어적 특징 공학 없이도 순수 텍스트에서 직접 시 운율을 분류할 수 있는 기계학습 모델을 개발하는 것.
• 기존에 전문 지식이 필요로 했던 아랍어 및 영어 시의 자동 운율 인식 문제를 해결하는 것.
• 향후 시와 언어 이해 분야의 계산적 연구를 위해 대규모이자 청소된 구조화된 시 구절 데이터셋을 구축하고 공개하는 것.
• 다양한 언어적 맥락(저자원 및 높은 변동성이 있는 언어 환경)에서 모델 성능에 영향을 미치는 음절 표기법과 데이터 인코딩의 영향을 탐색하는 것.

제안 방법

• 입력 텍스트는 문자 수준에서 인코딩되며, 실험 조건에 따라 음절 표기법을 유지하거나 제거한다.
• 핵심 아키텍처로 양방향 및 단방향 장기 기억망(LSTM)과 게이트형 순환 단위(GRU) 네트워크를 사용한다.
• 모델은 원시 문자 시퀀스에서 직접 음운적 및 리듬적 패턴을 학습하기 위해 엔드 투 엔드로 훈련된다.
• 네트워크 깊이(3–8층), 유닛 수(6–60개), 셀 유형(LSTM, BiLSTM, GRU, BiGRU)을 포함한 광범위한 초모델 최적화를 수행한다.
• 모델의 정확도를 검증하기 위해 아랍어 및 영어 데이터셋에서 10겹 교차검증을 실시하여 안정성을 확보한다.
• 데이터 전처리 과정으로 비기술적 문학 자료에서의 웹 크롤링을 수행한 후, 정규화, 청소, 그리고 공개 리포지토리에 맞는 구조적 포맷팅을 수행한다.

실험 결과

연구 질문

• RQ1 원시 문자 수준 입력에서 훈련된 RNN은 언어적 특징 공학 없이도 아랍어 및 영어 시의 운율을 분류할 수 있는가?
• RQ2 음절 표기법의 유무가 시 운율 분류 모델의 정확도에 어떤 영향을 미치는가?
• RQ3 클래스 크기(데이터셋 내에서 특정 운율의 빈도)와 개별 클래스의 분류 정확도 사이의 관계는 어떠한가?
• RQ4 어떤 네트워크 아키텍처와 초모델 설정이 다양한 텍스트 인코딩 방식에서 최고의 성능을 내는가?
• RQ5 인코딩 전략(예: 음절 표기법 포함/제외, 대소문자 구분 여부 등)이 모델의 일반화 능력과 정확도에 어떤 영향을 미치는가?

주요 결과

• RNN 기반 모델은 아랍어 시 운율 분류에서 총 96.38%의 정확도를 기록하며, 규칙 기반 시스템을 크게 앞서는 성능을 보였다.
• 영어 시의 경우 82.31%의 총 정확도를 달성하여, 운율 수가 적고 언어적 다양성이 높은 점을 감안할 때도 뛰어난 성능을 보였다.
• 두 가지 인코딩 방식을 사용하는 TwoE 전략이 실험 전반에서 가장 높은 정확도를 지속적으로 기록했지만, 모델 아키텍처와의 상호작용로 인해 인코딩 방식 간 성능에 차이가 있었다.
• 희귀 운율이 데이터셋에서 제외된 경우에만 음절 표기법이 분류 정확도를 향상시켰으며, 이는 데이터 희소성과 음운 표현 간의 복잡한 상호작용을 시사한다.
• 개별 클래스의 정확도는 클래스 크기와 강하게 상관관계가 있었으며, 작은 클래스에서는 정확도가 낮게 나타났다. 이는 희귀 운율 간 유사성 또는 훈련 예제 수 부족으로 인한 것으로 보인다.
• 본 연구는 향후 계산적 시학 및 언어 모델링 분야의 연구를 가능하게 하기 위해 청소되고 구조화되며 문서화된 형식으로 150만 개 이상의 시 구절을 포함한 공개 데이터셋을 제공하였다.