[논문 리뷰] Chinese Poetry Generation with a Working Memory Model

Xiaoyuan Yi, Maosong Sun외 2명|arXiv (Cornell University)|2018. 09. 12.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 연역적 기억을 통해 주제와 두드러진 역사적 내용을 동적으로 유지함으로써 통일성 향상을 위한 중국 시 생성을 위한 워킹 메모리 모델을 제안한다. 생성 과정에서 메모리 슬롯으로부터 선택적으로 읽고 쓰는 방식을 통해, 삼행시, 이ambic, 차이나이즈리 르릭 시의 다양한 장르에서 최신 기술 성능을 달성하였으며, 자동 평가 및 인간 평가 모두에서 이전 방법들을 능가한다.

ABSTRACT

As an exquisite and concise literary form, poetry is a gem of human culture. Automatic poetry generation is an essential step towards computer creativity. In recent years, several neural models have been designed for this task. However, among lines of a whole poem, the coherence in meaning and topics still remains a big challenge. In this paper, inspired by the theoretical concept in cognitive psychology, we propose a novel Working Memory model for poetry generation. Different from previous methods, our model explicitly maintains topics and informative limited history in a neural memory. During the generation process, our model reads the most relevant parts from memory slots to generate the current line. After each line is generated, it writes the most salient parts of the previous line into memory slots. By dynamic manipulation of the memory, our model keeps a coherent information flow and learns to express each topic flexibly and naturally. We experiment on three different genres of Chinese poetry: quatrain, iambic and chinoiserie lyric. Both automatic and human evaluation results show that our model outperforms current state-of-the-art methods.

연구 동기 및 목표

• 신경 시 생성에서 지속적인 통일성 문제, 특히 줄 간 주제 일관성과 주제 흐름을 해결하기 위해.
• 한정된 관련 정보를 유지하여 추론과 생성을 수행하는 인간의 인지적 워킹 메모리 방식을 모방함으로써 인간처럼 글을 쓰는 과정을 모델링하기 위해.
• 단일 히든 벡터에 압축하는 대신 주제와 두드러진 역사적 내용을 별도의 동적 메모리 슬롯에 유지함으로써 주제 표현과 전환을 향상시키기 위해.
• 톤, 줄 길이, 끝말잇기 등을 제어하는 장르 조건부 임베딩을 통해 다양한 시적 장르에서의 민첩한 생성을 가능하게 하기 위해.

제안 방법

• 모델은 생성 과정 중에 주요 주제와 최근 줄의 내용을 저장하고 검색하기 위해 다수의 제한된 슬롯을 갖춘 메모리 메커니즘을 사용한다.
• 주제는 메모리에서 별도로 유지되며, 현재 생성 단계와의 관련성에 따라 선택적으로 읽히므로, 집중적이고 통일성 있는 줄 생성이 가능해진다.
• 각 줄이 생성된 후, 모델은 가장 정보량이 많은 부분을 추출하여 메모리 슬롯에 기록함으로써 가장 관련성이 높은 역사적 맥락만을 유지한다.
• 구조적 및 음운적 제약(예: 톤, 줄 길이, 끝말잇기)을 제어하기 위해 장르 임베딩을 도입하여, 동일한 모델이 다양한 시적 형태를 생성할 수 있도록 한다.
• 모델은 어텐션 메커니즘을 사용하여 메모리 읽기 확률을 계산함으로써, 자동 회귀 디코딩 중 관련 메모리 내용에 동적으로 초점을 맞출 수 있다.
• 주제 추적 메커니즘이 주제로 이미 사용된 항목을 명시적으로 추적함으로써 반복을 줄이고 주제 커버리지 향상을 도모한다.

실험 결과

연구 질문

• RQ1 동적으로 관리되는 메모리 메커니즘이 관련 주제와 부분적 역사적 맥락을 유지함으로써 신경 시 생성의 통일성 향상에 기여할 수 있는가?
• RQ2 역사적 맥락을 단일 히든 벡터에 압축하는 것과 비교해, 주제와 두드러진 내용을 명시적으로 메모리 관리함으로써 주제 표현과 유창성 측면에서 어떤 차이가 있는가?
• RQ3 공유된 메모리 메커니즘과 장르 임베딩을 사용할 때, 동일한 모델 아키텍처가 다양한 시적 장르를 얼마나 잘 생성할 수 있는가?
• RQ4 메모리 슬롯의 수가 생성 품질에 어떤 영향을 미치며, 다양한 시적 형태에 최적의 구성은 무엇인가?
• RQ5 복잡한 장르인 이ambic에서 인간 수준의 통일성, 특히 주제 표현과 주제 흐름에서 인간 수준의 성능을 달성할 수 있는가?

주요 결과

• 삼행시에서 워킹 메모리(WM) 모델은 인간 평가자 시와 유사한 수준의 통일성과 관련성 점수를 확보하였으며, 인간이 평가한 시와 유사한 성능을 보였다.
• 이ambic 시에서 WM은 BLEU, 퍼플렉서티, 인간 평가 모두에서 모든 베이스라인을 능가하였지만, 장르의 복잡성으로 인해 여전히 인간 시인과의 격차가 존재한다.
• 차이나이즈리 르릭에서 WM은 모든 모델 중 가장 높은 유창성 점수를 기록하였으며, 이는 장르 임베딩이 구조와 음운을 제어함으로써 유리함을 얻었기 때문이다.
• 6개의 메모리 슬롯을 가진 모델이 이ambic와 르릭 생성에서 최적의 성능을 보였으며, 너무 많거나 너무 적은 슬롯 수는 성능 저하를 초래했다.
• 제거 실험 결과, 주제 추적 메커니즘을 제거하면 주제 커버리지와 관련성이 떨어지며, 이는 주제 추적 기능이 명시적 주제 추적에 기여한다는 점을 확인한다.
• 사례 연구에서 모델이 관련 메모리 내용에 동적으로 집중하는 것으로 나타났다. 예를 들어, '편지'를 생성할 때 '그대를 그리워하다'라는 내용에 초점을 맞추는 등 맥락에 적합하고 의미 기반의 생성이 가능했다.