[논문 리뷰] Modern French Poetry Generation with RoBERTa and GPT-2

Mika Hämäläinen, Khalid Alnajjar외 1명|Työväentutkimus Vuosikirja|2022. 12. 06.

Topic Modeling참고 문헌 27인용 수 8

한 줄 요약

이 논문은 CamemBERT(RoBERTa 기반)를 인코더로, GPT-2를 디코더로 사용하여 현대 프랑스어 시를 생성하기 위한 새로운 인코더-디코더 모델을 제안한다. 빔 서치에 운율 모델링을 통합한 점이 특징이며, 인간 평가 결과 평균 이해도 점수가 5점 만점에 3.79로 나타나, 문법적으로 타당하고 스타일적으로 타당한 현대 프랑스어 시를 효과적으로 생성함을 보여준다.

ABSTRACT

We present a novel neural model for modern poetry generation in French. The model consists of two pretrained neural models that are fine-tuned for the poem generation task. The encoder of the model is a RoBERTa based one while the decoder is based on GPT-2. This way the model can benefit from the superior natural language understanding performance of RoBERTa and the good natural language generation performance of GPT-2. Our evaluation shows that the model can create French poetry successfully. On a 5 point scale, the lowest score of 3.57 was given by human judges to typicality and emotionality of the output poetry while the best score of 3.79 was given to understandability.

연구 동기 및 목표

• 엄격한 운율 제약 없이 현대적 자유시 형식의 프랑스어 시를 생성할 수 있는 신경망 기반 시 생성 모델을 개발하는 것.
• 단일 모델 접근 방식의 한계를 보완하기 위해 RoBERTa의 강력한 언어 이해 능력과 GPT-2의 생성 능력을 조합하는 것.
• 자기회귀적 생성에만 의존하는 것과는 달리, 음운적 운율(완전 운, 장음 운, 자음 운)을 빔 서치의 조건으로 삼음으로써 생성 품질을 향상시키는 것.
• 주로 일반성, 감정성, 이해도와 같은 핵심 시적 품질을 인간 평가자들이 평가하도록 모델 출력을 평가하는 것.

제안 방법

• 입력 프롬프트의 문맥적 의미를 포착하기 위해 CamemBERT 기반 RoBERTa 모델을 인코더로 미세조정한다.
• 인코딩된 문맥에서 디코더가 자동으로 순차적으로 시 토큰을 생성하도록 GPT-2 기반 디코더를 사용한다.
• 단어의 IPA 표현을 계산하여 음운적 운율 조건을 빔 서치에 통합한다. 이는 첫 모음부터의 유사성(완전 운), 모음 시퀀스의 일치(장음 운), 자음 군집의 유사성(자음 운)을 기반으로 한다.
• Wikisource 및 프랑스어 손네트 데이터셋에서 수집한 25,215개의 프랑스어 시와 손네트를 전처리하여 표준화된 길이로 구절으로 분할한다.
• Hugging Face 모델 허브에서 사전 학습된 가중치를 초기화하여 전이 학습을 적용함으로써, 전체에서부터 학습하는 것을 피한다.
• 인코더가 입력 프롬프트를 처리하고, 디코더가 이전 구절에 조건부로 순차적으로 연설을 생성하는 하이브리드 학습 전략을 적용한다.

실험 결과

연구 질문

• RQ1 미세조정된 RoBERTa-GPT-2 하이브리드 모델은 문법적·의미적 타당성과 함께 스타일적으로 타당한 현대 프랑스어 시를 생성할 수 있는가?
• RQ2 빔 서치에 음운적 운율 제약을 통합함으로써 생성된 출력의 품질과 시적 진정성은 어떻게 향상되는가?
• RQ3 인간 평가자들이 생성된 시를 이해도, 일반성, 문법성, 감정적 영향력 측면에서 어떻게 평가하는가?
• RQ4 RoBERTa의 이해 능력과 GPT-2의 생성 능력이 결합될 때, 단일 모델 기반 베이스라인에 비해 성능 향상은 어떻게 이루어지는가?

주요 결과

• 인간 평가 결과에서 평균 이해도 점수가 5점 만점에 3.79로 나타나, 생성된 시의 문법적·의미적 통일성이 높다는 것을 확인하였다.
• 가장 낮은 인간 평가 점수는 일반성 및 감정성에서 3.57로 나타나, 비록 시가 문법적으로나 의미적으로 타당하지만, 인간이 작성한 현대 시의 스타일적 또는 감정적 깊이에는 아직 도달하지 못하고 있음을 시사한다.
• 모델은 4절로 구성된 유기적인 연속된 시를 안정적으로 생성하는 데 성공했으며, 각 구절이 이전 구절에 논리적으로 이어지는 것으로 나타났다.
• 강력한 성능에도 불구하고, 일부 경우 비표준 어형(예: 비표준 활용인 'effondrit')을 생성하는 경우가 있어, 형태학적 정확도 향상 여전히 개선이 필요하다는 점을 보여준다.
• 빔 서치에 운율 모델링을 통합함으로써 시적 형식이 향상되었지만, 인간 인식에 미치는 정확한 영향은 총괄 평가 점수 외에는 정량화되지 않았다.
• 전체 평가 결과와 생성된 시는 재현성 및 향후 연구를 위해 Zenodo에 공개되어 있다.