[논문 리뷰] Multi-Figurative Language Generation

Huiyuan Lai, Malvina Nissim|arXiv (Cornell University)|2022. 09. 05.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 다중 비유적 언어 생성 프레임워크인 mFLAG을 소개한다. 이 프레임워크는 초월, 관용구, 비꼬임, 은유, 비유의 다섯 가지 비유적 형태를 함께 모델링하며, 병렬 비유-비유 쌍이 필요하지 않은 두 단계 학습 방식을 사용한다: 비유적 문장의 복수 형태를 포함한 파araphrase 데이터를 이용한 다중 비유적 사전학습과, 목표 비유적 형태 생성을 유도하기 위한 새로운 인코더 주입 기법. 모델은 강력한 베이스라인을 능가하며, 비유 간 지식 전이를 통해 병렬 비유-비유 쌍이 없는 상황에서도 제로샷 비유-비유 생성을 가능하게 한다.

ABSTRACT

Figurative language generation is the task of reformulating a given text in the desired figure of speech while still being faithful to the original context. We take the first step towards multi-figurative language modelling by providing a benchmark for the automatic generation of five common figurative forms in English. We train mFLAG employing a scheme for multi-figurative language pre-training on top of BART, and a mechanism for injecting the target figurative information into the encoder; this enables the generation of text with the target figurative form from another figurative form without parallel figurative-figurative sentence pairs. Our approach outperforms all strong baselines. We also offer some qualitative analysis and reflections on the relationship between the different figures of speech.

연구 동기 및 목표

• 현재 각 수사적 표현 유형 별로 별도의 모델이 필요로 하는 바, 신경망 생성에서 다수의 비유적 언어 형태를 함께 모델링할 수 있는 부족함을 해결하기 위해.
• 병행 비유-비유 문장 쌍이 없는 상황에서도 서로 다른 비유적 형태 간 제로샷 생성(예: 초월에서 은유로의 변환)을 가능하게 하기 위해.
• 파araphrase 데이터와 형태별 레이블을 함께 사용해 여러 비유적 형태를 함께 사전학습함으로써 비유 간 지식 전이를 탐색하기 위해.
• 병행 데이터에 의존하지 않고도 목표 비유적 정보를 인코더에 주입하여 생성을 유도할 수 있는 메커니즘을 설계하기 위해.
• 직접 비유-비유 생성과 비유-직역-비유의 피벗 기반 방법 간의 가능성과 특성을 평가하기 위해.

제안 방법

• 두 단계 학습 기반: 첫 번째로, 각 입력에 형태별 토큰을 앞서 붙인 문장의 혼합(직역 및 비유적 문장)을 사용한 다중 비유적 사전학습.
• 두 번째로, 모든 다섯 가지 비유적 형태에 대해 병행 직역-비유 쌍을 사용한 지도적 미세조정을 통해 종단 간 생성을 가능하게 한다.
• 목표 비유적 형태 레이블을 입력 임베딩 공간에 투영하는 새로운 인코더 주입 기법을 도입하여, 디코딩 중에 원하는 비유적 형태에 주의를 기울일 수 있도록 한다.
• 사전학습 단계에서 파araphrase 데이터를 사용함으로써 다양한 비유적 형태 간의 맥락 적합성과 형태 강도를 향상시킨다.
• 직접 비유-비유 생성과 직역을 중간 단계로 사용하는 피벗 기반 방법 간의 성능 및 어휘 일관성 비교.
• PCA를 활용한 인코더 표현 분석을 통해 다양한 비유적 형태 간 토큰의 의미 클러스터링을 분석한다.

실험 결과

연구 질문

• RQ1 병행 비유-비유 쌍이 없는 상황에서, 하나의 신경망 모델이 직역 및 비유적 입력으로부터 다수의 비유적 언어 형태를 효과적으로 생성할 수 있는가?
• RQ2 비유 간 지식 전이가 다중 비유적 언어 생성 성능 향상에 얼마나 기여하는가?
• RQ3 제안된 인코더 주입 기법이 맥락을 유지하면서도 목표 비유적 형태 생성 능력에 어떤 영향을 미치는가?
• RQ4 분류기의 일반화 성능을 통해 비유적 형태 간의 언어학적 유사성과 차이를 어떻게 밝혀낼 수 있는가?
• RQ5 일관성과 형태 정확성 측면에서, 직역을 피벗으로 사용하는 것보다 직접 비유-비유 생성이 우월한가?

주요 결과

• mFLAG 모델은 모든 강력한 베이스라인을 능가하며, 공동 모델링과 비유 간 지식 전이의 효과성을 입증한다.
• 인코더 주입 기법을 통해 병행 비유-비유 쌍이 없는 상황에서도 성공적인 비유-비유 생성이 가능하며, 새로운 형태 전환에 대해 높은 성능을 달성한다.
• PCA 시각화 결과, 주입 기법을 사용할 경우 목표 비유적 형태(예: 초월에서 'on pins and needles')의 토큰 표현이 임베딩 공간에서 더 가까이 군집됨을 확인하여, 목표 형태 의미와의 더 나은 일치를 확인할 수 있다.
• 한 비유적 형태에서 학습한 분류기가 다른 형태로 중간 정도로 일반화됨—특히 초월과 관용구에서 비유로의 일반화(F1 > 0.79)는 비유적 특성의 공통성을 시사한다.
• 비유 분류기는 다른 형태로의 일반화가 떨어짐(F1 < 0.11), 아마도 고유한 문법적 형식 'like a X'가 쉽게 식별되어 비유 간 전이에 제한을 둠.
• 전반적인 직역 대 비유 분류기는 모든 형태에서 F1 점수 0.69 이상을 확보하여 다중 비유적 모델링의 가능성은 확인된다.