[논문 리뷰] Learning Sparse Prototypes for Text Generation

Junxian He, Taylor Berg-Kirkpatrick외 1명|arXiv (Cornell University)|2020. 06. 29.

Topic Modeling참고 문헌 48인용 수 10

한 줄 요약

이 논문은 희소성 유도 딜리클레 사전분포와 암시적 변동형 추론을 사용하여 자동으로 압축되고 고품질의 프로토타입 집합을 학습하는 희소 프로토타입 기반 텍스트 생성 모델을 제안한다. 이 방법은 이전의 프로토타입 모델 대비 최대 1000배의 메모리 절감과 속도 향상을 달성하면서도 언어 모델링 성능을 최대 14 퍼플렉서티 포인트 향상시키며, 학습된 프로토타입을 통해 제어 가능하고 의미적으로 유의미한 편집을 가능하게 한다.

ABSTRACT

Prototype-driven text generation uses non-parametric models that first choose from a library of sentence "prototypes" and then modify the prototype to generate the output text. While effective, these methods are inefficient at test time as a result of needing to store and index the entire training corpus. Further, existing methods often require heuristics to identify which prototypes to reference at training time. In this paper, we propose a novel generative model that automatically learns a sparse prototype support set that, nonetheless, achieves strong language modeling performance. This is achieved by (1) imposing a sparsity-inducing prior on the prototype selection distribution, and (2) utilizing amortized variational inference to learn a prototype retrieval function. In experiments, our model outperforms previous prototype-driven language models while achieving up to a 1000x memory reduction, as well as a 1000x speed-up at test time. More interestingly, we show that the learned prototypes are able to capture semantics and syntax at different granularity as we vary the sparsity of prototype selection, and that certain sentence attributes can be controlled by specifying the prototype for generation.

연구 동기 및 목표

• 테스트 시 전체 학습 코퍼스를 저장하고 색인해야 하는 프로토타입 기반 텍스트 생성 모델의 비효율성을 해결하기 위해.
• 학습 중에 히وري스틱 방법에 의존하는 프로토타입 선택을 제거하여, 이는 최적화되지 않으며 미분 가능하지 않을 수 있음.
• 강력한 언어 모델링 성능을 달성하면서도 최소한의 영향력 있는 프로토타입 집합을 자동으로 발견하기 위해.
• 다양한 정도의 정밀도에서 의미적 및 문법적 구조를 반영하는 프로토타입을 학습하여 해석 가능하고 제어 가능한 텍스트 생성을 가능하게 하기 위해.
• 특히 자원이 제한된 환경나 고처리량 환경에서 품질을 희생시키지 않고 테스트 시 효율성을 향상시키기 위해.

제안 방법

• 각 문장을 먼저 잠재된 희소 프로토타입 분포에서 프로토타입을 샘플링한 후 생성하는 생성 모델을 제안한다.
• 프로토타입 분포는 대칭 딜리클레 사전분포로 모델링되며, 이는 희소성을 유도하고 테스트 시 필요한 프로토타입 수를 감소시킨다.
• 암시적 변동형 추론을 사용하여 입력 시퀀스를 관련 프로토타입으로 매핑하는 학습 가능한 프로토타입 검색기 학습을 수행하며, 히وري스틱 선택을 대체한다.
• 모델은 선택된 프로토타입에 대해 미분 가능한 편집 벡터를 적용하여 최종 출력을 생성하는 신경 편집기(Neural Editor)를 사용한다.
• 변동형 하한(lower bound)을 최적화하여 프로토타입 분포와 검색 함수를 동시에 학습함으로써 엔드 투 엔드 학습을 가능하게 한다.
• 편집 공간에서의 구면 보간을 허용하기 위해 편집 벡터는 바흐-미제스-페르시아르(Fisher) 사전분포에서 샘플링된다.

실험 결과

연구 질문

• RQ1 비모수적 텍스트 생성 모델이 메모리 사용과 추론 시간을 크게 줄이면서도 강력한 언어 모델링 성능을 달성할 수 있는가?
• RQ2 희소성 유도 사전분포가 히وري스틱 선택 없이 최소이면서도 효과적인 프로토타입 집합을 자동으로 식별할 수 있는가?
• RQ3 학습된 프로토타입은 다양한 수준의 희소성에서 의미적 및 문법적 구조를 어떻게 반영하는가?
• RQ4 프로토타입이나 편집 벡터를 지정하여 모델이 제어 가능한 텍스트 생성을 지원할 수 있는가?
• RQ5 암시적 변동형 추론을 사용한 프로토타입 검색이 히وري스틱 기반 프로토타입 선택보다 우월한가?

주요 결과

• 제안된 모델은 이전의 프로토타입 기반 모델 대비 최대 1000배의 메모리 사용 감소와 1000배의 속도 향상을 달성한다.
• MSCOCO 데이터셋에서 모델은 신경 언어 모델 기준선 대비 1.4 퍼플렉서티 포인트 감소하고, 이전의 신경 편집기 모델 대비 0.9 포인트 감소한다.
• Yelp 데이터셋에서 모델은 신경 언어 모델 기준선 대비 최대 14 포인트의 퍼플렉서티 향상과 이전의 신경 편집기 모델 대비 6 포인트 향상한다.
• 단지 778개의 프로토타입만을 사용함에도 불구하고 경쟁적인 BLEU 점수(17.2)를 기록하며, 동일한 수의 프로토타입을 사용한 히وري스틱 사전 클러스터링 기반 기준선과 동일한 성능을 달성한다.
• 높은 희소성(α=0.1)일 경우 프로토타입은 일반적인 문법적 및 구조적 패턴을 반영하고, 낮은 희소성일 경우 더 구체적인 의미적 내용을 반영한다.
• 편집 벡터 공간에서의 구면 선형 보간은 유창하고 중간 문장을 부드럽게 전환시키는 중간 문장을 생성하여 제어 가능성의 가능성을 입증한다.