[논문 리뷰] Discrete Autoencoders for Sequence Models

Łukasz Kaiser, Samy Bengio|arXiv (Cornell University)|2018. 01. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 8인용 수 35

한 줄 요약

이 논문은 자연어의 계층적 구조를 가진 시퀀스 모델에서 의미 있는 이산 잠재 표현을 학습하는 데 도전하는 것을 목적으로 하며, 냉각 또는 추가 손실 항목 없이도 이산 변수를 통해 기울기 흐름을 가능하게 하는 개선된 의미 해싱 기법을 사용하는 이산 오토에인코드어를 제안한다. 이 방법은 새로운 정량적 측정 기준에서 50% 이상의 효율성을 달성하며, 잠재 코드 샘플링 후 빔 서치를 수행하여 다양한 의미적으로 일관된 텍스트 생성을 가능하게 한다.

ABSTRACT

Recurrent models for sequences have been recently successful at many tasks, especially for language modeling and machine translation. Nevertheless, it remains challenging to extract good representations from these models. For instance, even though language has a clear hierarchical structure going from characters through words to sentences, it is not apparent in current language models. We propose to improve the representation in sequence models by augmenting current approaches with an autoencoder that is forced to compress the sequence through an intermediate discrete latent space. In order to propagate gradients though this discrete representation we introduce an improved semantic hashing technique. We show that this technique performs well on a newly proposed quantitative efficiency measure. We also analyze latent codes produced by the model showing how they correspond to words and phrases. Finally, we present an application of the autoencoder-augmented model to generating diverse translations.

연구 동기 및 목표

• 시퀀스 모델에서 의미 있는 이산 표현을 학습하는 데 도전하며, 특히 계층적 구조를 가진 자연어를 대상으로 한다.
• 냉각 또는 보조 손실 항목 없이도 이산 잠재 변수를 통해 기울기 역전파를 가능하게 하는 미분 가능한 이산 오토에인코드어를 개발한다.
• 시퀀스 모델링에서 이산 오토에인코드어의 성능을 평가하기 위한 새로운 정량적 효율성 측정 기준을 제안한다.
• 학습된 이산 잠재 코드에서 샘플링한 후 빔 서치를 수행하여 다양한 의미적으로 일관된 텍스트 생성을 가능하게 한다.

제안 방법

• 개선된 의미 해싱 기법을 사용: 연속 벡터 v에 대해 훈련 중 고정된 가우시안 노이즈를 추가하고, 포화 시그모이드를 적용하여 이진 벡터 vd를 생성한다.
• 전방 전파에서 소프트 시그모이드(v1)와 딱딱한 이진 벡터(v2)를 번갈아 사용하여 훈련을 안정화시킨다.
• 역방향 전파에서 항상 소프트 버전(v1)을 통해 기울기가 흐르며, 전방 전파에서 딱딱한 버전(v2)을 사용하더라도, 스트레이트스러우 기울기 기법을 사용한다.
• 이산 잠재 코드 c(s)는 입력 시퀀스 s를 학습된 어휘에서 얻은 K배로 짧아진 이산 기호의 시퀀스로 압축하여 생성된다.
• 모델은 c(s)와 s의 연결된 시퀀스에서 퍼플렉서티를 최소화하도록 훈련되며, 원래 시퀀스를 복원하기 위해 조건부 언어 모델을 사용한다.
• 해독 과정에서는 별도의 언어 모델을 통해 잠재 코드에서 c(s)를 샘플링한 후, 샘플된 c(s)에 조건부로 기존 시퀀스 모델에서 빔 서치를 수행하여 다양한 출력을 도출한다.

실험 결과

연구 질문

• RQ1 이산 변수의 비미분성에도 불구하고 기울기 기반 최적화만을 사용하여 시퀀스 모델에서 이산 오토에인코드어를 효과적으로 훈련시킬 수 있는가?
• RQ2 압축 효율성과 복원 품질을 동시에 반영하는 방식으로 이산 오토에인코드어의 성능을 정량적으로 측정할 수 있는가?
• RQ3 학습된 이산 잠재 코드가 단어나 어구와 같은 의미 있는 언어 단위에 의미적으로 대응할 수 있는가?
• RQ4 잠재 코드에서 샘플링한 후 기존 시퀀스 모델에서 빔 서치를 수행하면 신경 기계 번역에서 다양한 의미적으로 일관된 출력을 도출할 수 있는가?

주요 결과

• 제안된 개선된 의미 해싱 기법은 동일한 설정에서 Gumbel-Softmax를 능가하는 새로운 정량적 측정 기준에서 50% 이상의 효율성을 달성한다.
• 모델이 학습한 잠재 코드는 설명 가능성 분석을 통해 단어나 어구와 같은 의미 있는 언어 단위에 대응함을 입증하였다.
• 잠재 코드에서 샘플링한 후 원본 시퀀스 모델에서 빔 서치를 수행하면 의미를 유지하면서도 반복성과 낮은 다양성을 보이는 표준 빔 서치나 순수 샘플링과는 달리 다양한 번역 결과를 도출할 수 있다.
• 이 방법은 다중 척도 생성 모델의 엔드 투 엔드 훈련을 가능하게 하며, 고수준 이산 동작에 대한 계획이 가능한 점에서 강화 학습 분야에서도 잠재력을 보여준다.