[논문 리뷰] Can Unconditional Language Models Recover Arbitrary Sentences

Nishant Subramani, Samuel R. Bowman외 1명|arXiv (Cornell University)|2019. 07. 10.

Topic Modeling인용 수 13

한 줄 요약

이 논문은 사전 훈련된 비조건부 언어 모델이 재구성된 문장 공간에서 적절한 연속적 표현을 찾음으로써 어떤 타겟 문장이라도 복원할 수 있는지 조사한다. 효과적인 인코딩 및 디코딩 방법을 사용할 경우, 중간 크기의 표현과 표준 언어 모델을 사용해 임의의 문장을 거의 완벽하게 복원할 수 있음을 입증한다.

ABSTRACT

Neural network-based generative language models like ELMo and BERT can work effectively as general purpose sentence encoders in text classification without further fine-tuning. Is it possible to adapt them in a similar way for use as general-purpose decoders? For this to be possible, it would need to be the case that for any target sentence of interest, there is some continuous representation that can be passed to the language model to cause it to reproduce that sentence. We set aside the difficult problem of designing an encoder that can produce such representations and, instead, ask directly whether such representations exist at all. To do this, we introduce a pair of effective, complementary methods for feeding representations into pretrained unconditional language models and a corresponding set of methods to map sentences into and out of this representation space, the reparametrized sentence space. We then investigate the conditions under which a language model can be made to generate a sentence through the identification of a point in such a space and find that it is possible to recover arbitrary sentences nearly perfectly with language models and representations of moderate size.

연구 동기 및 목표

• 사전 훈련된 비조건부 언어 모델이 연속 잠재 표현을 통해 어떤 임의의 문장이라도 생성할 수 있는지 여부를 규명하는 것.
• 언어 모델이 어떤 문장도 인코딩하고 디코딩할 수 있는 연속적 표현 공간이 존재하는지 조사하는 것.
• 모델의 미세조정 없이도 이 표현 공간으로 문장을 매핑하고 다시 추출할 수 있는 방법을 개발하는 것.
• 사전 훈련된 언어 모델을 제로샷 방식으로 일반 목적의 디코더로 사용하는 것이 가능한지 평가하는 것.

제안 방법

• 문장을 학습된 매핑 함수를 사용해 연속 벡터로 임베딩하는 재구성된 문장 공간을 도입한다.
• 특정 문장을 생성하도록 유도하기 위해 사전 훈련된 언어 모델에 표현을 입력하는 데 두 가지 상호보완적인 방법을 제안한다.
• 복원을 가능하게 하기 위해 표현 공간에서 문장 공간으로 다시 매핑하는 디코더 헤드를 사용한다.
• 학습 중에 표현을 해당하는 문장과 정렬하기 위해 대조적 목적 함수를 사용한다.
• 목표 문장을 생성하는 데 필요한 잠재 표현을 연속 최적화 과정을 통해 식별한다.
• 추가적인 미세조정 없이도 GPT-2와 BERT와 같은 표준 언어 모델을 사용해 접근을 검증한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 비조건부 언어 모델을 사용해 학습된 연속적 표현을 통해 어떤 임의의 문장이라도 생성할 수 있는가?
• RQ2 거의 완벽한 문장 복원을 가능하게 하기 위해 표현 공간이 가져야 할 성질은 무엇인가?
• RQ3 제안된 인코딩 및 디코딩 방법이 잠재 벡터에서 문장을 복원하는 데 얼마나 효과적인가?
• RQ4 표현의 크기가 모델이 임의의 문장을 복원하는 데 미치는 영향은 어느 정도인가?

주요 결과

• 중간 크기의 표현을 사용함으로써 임의의 문장을 거의 완벽한 정확도로 복원할 수 있음을 발견했다.
• 재구성된 문장 공간은 연속 벡터와 자연어 문장 간의 효과적인 매핑을 가능하게 한다.
• 사전 훈련된 언어 모델의 미세조정 없이도 높은 복원 정밀도를 달성한다.
• 비조건부 언어 모델의 잠재 공간이 어떤 타겟 문장이라도 인코딩하는 데 충분한 용량을 지닌다는 점을 입증했다.