[논문 리뷰] Generating Sentences by Editing Prototypes

Kelvin Guu, Tatsunori Hashimoto외 2명|arXiv (Cornell University)|2017. 09. 26.

Topic Modeling참고 문헌 31인용 수 33

한 줄 요약

이 논문은 훈련 데이터 코퍼스에서 문장을 샘플링한 후 잠재 편집 벡터에 조건화된 학습된 신경 편집기로 이를 편집함으로써 퍼플렉서티와 인간 평가 품질을 향상시키는 프로토타입-편집 방식의 생성 언어 모델을 제안한다. 모델은 Yelp와 One Billion Word Benchmark에서 각각 13점과 7점의 퍼플렉서티 향상을 달성하며, 편집 벡터를 통해 해석 가능한 의미적 편집을 가능하게 한다.

ABSTRACT

We propose a new generative model of sentences that first samples a prototype sentence from the training corpus and then edits it into a new sentence. Compared to traditional models that generate from scratch either left-to-right or by first sampling a latent sentence vector, our prototype-then-edit model improves perplexity on language modeling and generates higher quality outputs according to human evaluation. Furthermore, the model gives rise to a latent edit vector that captures interpretable semantics such as sentence similarity and sentence-level analogies.

연구 동기 및 목표

• 자기회귀적 언어 모델이 다양하고 비특수적인 문장을 생성하는 데에 한계가 있다는 문제를 해결하기 위해.
• 훈련 데이터에서 고품질이자 문법적으로 올바른 프로토타입을 활용하여 생성 품질을 향상시키기 위해.
• 문장 간 의미 전환을 캡처하는 분리된, 해석 가능한 편집 벡터를 학습하기 위해.
• 기울기 기반 신경 편집기를 통해 제어 가능하고 의미적으로 의미 있는 편집을 가능하게 하기 위해.
• 기존의 변동형 오토인코더에 비해 더 구조화되고 의미적으로 부드러운 잠재 공간을 제공하기 위해.

제안 방법

• 모델는 훈련 코퍼스에서 균일하게 프로토타입 문장을 샘플링함으로써 문장을 생성한다.
• 신경 편집기가 프로토타입과 잠재 편집 벡터에 조건화되어 새로운 문장을 생성한다.
• 모델는 프로토타입 합산을 제한하기 위해 어휘 유사도를 사용하여 마진 가능도의 하한 근사치를 최대화함으로써 훈련된다.
• 확장 가능한 훈련을 위해 지역 민감성 해싱(LSH)을 사용하여 어휘적으로 유사한 문장 쌍을 효율적으로 식별한다.
• 편집 벡터의 기대치를 근사하기 위해 증거 하한 경계(ELBO)를 사용하여 backpropagation을 통한 엔드 투 엔드 훈련을 가능하게 한다.
• 훈련 데이터에 없는 단어나 유사하지 않은 테스트 문장에서의 영향을 줄이고 모델을 부드럽게 하기 위해 특수한 '비어 있는' 프로토타입을 도입한다.

실험 결과

연구 질문

• RQ1 훈련 데이터에서 프로토타입을 편집하는 생성 모델이 자기회귀적 모델에 비해 더 낮은 퍼플렉서티와 더 높은 생성 품질을 달성할 수 있는가?
• RQ2 학습된 편집 벡터가 문장 유사도나 유사어 관계와 같은 해석 가능한 의미 전환을 캡처할 수 있는가?
• RQ3 프로토타입-편집 접근 방식이 기존의 변동형 오토인코더에 비해 더 제어 가능하고 의미적으로 의미 있는 텍스트 생성을 가능하게 하는가?
• RQ4 신경 편집기 훈련에 있어 어휘 유사도가 의미 유사도의 대체 지표로 얼마나 효과적인가?
• RQ5 모델는 정확한 훈련 예제를 초월해 문법적 정확성과 다양성을 유지하면서 일반화할 수 있는가?

주요 결과

• 프로토타입-편집 모델은 기준 언어 모델 대비 Yelp 코퍼스에서 퍼플렉서티를 13점 낮추었고, One Billion Word Benchmark에선 7점 낮췄다.
• 인간 평가 결과, 표준 자기회귀적 언어 모델보다 더 높은 품질의 문장을 생성하는 것으로 나타났다.
• 잠재 편집 벡터는 문장 유사도를 성공적으로 캡처하고 국소적으로 제어 가능한 텍스트 생성을 가능하게 하였으며, 이러한 작업에서 표준 문장 변동형 오토인코더보다 뛰어난 성능을 보였다.
• 모델는 편집의 연속을 적용하여 의미 공간을 부드럽게 이동하는 의미적 무작위 보행을 수행할 수 있었다.
• 특수한 '비어 있는' 프로토타입을 사용한 소량의 스무딩 조치가 희귀하거나 유사하지 않은 테스트 문장에서 퍼플렉서티를 크게 낮추는 데 효과적이었다.
• 훈련 세트에서 어휘적으로 유사한 문장 쌍은 의미적으로도 유사한 것으로 나타나, 훈련 목표 함수에서 의미 구조의 대체 지표로 어휘 유사도를 사용하는 것이 타당함을 검증하였다.