[논문 리뷰] Stochastic Beams and Where to Find Them: The Gumbel-Top-k Trick for Sampling Sequences Without Replacement

Wouter Kool, Herke van Hoof외 1명|UvA-DARE (University of Amsterdam)|2019. 03. 14.

Topic Modeling참고 문헌 40인용 수 18

한 줄 요약

이 논문은 인자 분해된 시퀀스 모델에서 중복 없이 샘플링할 수 있는 새로운 방법인 Stochastic Beam Search를 소개한다. Gumbel-Top-k 기법을 사용하여 로그-확률을 확률적으로 편향시키고, 상위-k 선택을 적용함으로써, 선형적인 모델 평가 수(k 및 시퀀스 길이에 비례)로 정확하고 다양한 샘플링을 가능하게 한다. 번역 및 추정기 작업에서 표준 샘플링 및 범위 검색보다 다양성과 분산 감소 측면에서 뛰어나다.

ABSTRACT

The well-known Gumbel-Max trick for sampling from a categorical distribution can be extended to sample $k$ elements without replacement. We show how to implicitly apply this 'Gumbel-Top-$k$' trick on a factorized distribution over sequences, allowing to draw exact samples without replacement using a Stochastic Beam Search. Even for exponentially large domains, the number of model evaluations grows only linear in $k$ and the maximum sampled sequence length. The algorithm creates a theoretical connection between sampling and (deterministic) beam search and can be used as a principled intermediate alternative. In a translation task, the proposed method compares favourably against alternatives to obtain diverse yet good quality translations. We show that sequences sampled without replacement can be used to construct low-variance estimators for expected sentence-level BLEU score and model entropy.

연구 동기 및 목표

• 표준 샘플링(낮은 엔트로피 분포에서 중복 발생)과 결정적 범위 검색(다양성 부족 및 확률적 해석 불가)의 한계를 해결하기 위해 시퀀스 모델링에서의 문제를 다루기 위해.
• 고품질의 다양한 출력을 유지하면서 중복 없이 시퀀스를 샘플링할 수 있는 체계적인 방법을 개발하기 위해.
• BLEU 점수 및 엔트로피와 같은 모델 메트릭스를 위한 저분산 통계 추정기 구축을 위해 대표적 샘플을 사용하기 위해.
• 샘플링과 범위 검색 사이의 격차를 메우기 위해, 범위 검색에 확률적 해석을 주기 위해 확률적 편향을 통해 범위 검색에 새로운 해석을 제공하기 위해.

제안 방법

• 다음 토큰 분포의 로그-확률에 독립적인 Gumbel 노이즈를 추가하여, 인자 분해된 시퀀스 모델에 Gumbel-Top-k 기법을 적용한다.
• 편향된 로그-확률에 대해 범위 검색를 수행하여, 각 단계에서 편향된 점수의 합을 기반으로 상위-k 시퀀스를 선택한다.
• 편향된 로그-확률의 argmax가 범주 분포에서 샘플링을 제공하는 성질(Gumbel-Max 기법)을 확장하여, 중복 없이 샘플링하기 위해 상위-k를 활용한다.
• 전체 지수적 시퀀스 공간을 생성하지 않도록 하여 효율성을 유지하는 상향식 샘플링 전략을 구현한다.
• Gumbel 과정에서 max와 argmax의 독립성을 활용하여, 중복 없이 유효한 샘플링을 보장한다.
• 샘플된 시퀀스를 사용하여 문장 수준의 BLEU 및 모델 엔트로피 추정기를 구성하며, 몬테카를로 샘플링보다 분산이 낮다.

실험 결과

연구 질문

• RQ1 Gumbel-Top-k 기법을 인자 분해된 시퀀스 모델에 암시적으로 적용하여, 전체 시퀀스 공간을 열거하지 않고도 중복 없이 샘플링할 수 있는가?
• RQ2 Stochastic Beam Search는 샘플링 수준의 품질을 유지하면서도 결정적 범위 검색보다 더 다양한 시퀀스를 생성할 수 있는가?
• RQ3 Stochastic Beam Search는 몬테카를로 샘플링보다 BLEU 점수 및 엔트로피와 같은 모델 메트릭스 추정기에서 더 낮은 분산을 제공하는가?
• RQ4 이 방법은 시퀀스 모델링 작업에서 샘플링과 범위 검색의 체계적인 대안으로 사용될 수 있는가?

주요 결과

• Stochastic Beam Search는 신경 기계 번역 모델에서 다양하고 중복 없는 시퀀스를 성공적으로 생성하여, 다양성 메트릭스에서 표준 샘플링을 능가한다.
• 특히 저온 설정(T < 0.5)에서, 기대 BLEU 점수 및 모델 엔트로피 추정기의 분산이 몬테카를로 샘플링보다 유의미하게 낮다.
• T = 0.5일 때, 정규화된 SBS 추정기는 몬테카를로와 유사한 분산을 보이지만, 더 높은 샘플 품질과 더 낮은 샘플당 계산 비용을 제공한다.
• 알고리즘은 k와 시퀀스 길이에 대해 선형적으로 스케일링되며, 모든 시퀀스를 열거하는 지수적 비용을 피한다.
• 이 방법은 샘플링과 범위 검색 사이에 이론적이고 실용적인 다리를 놓으며, 샘플링의 다양성과 범위 검색의 효율성 및 품질을 결합한다.
• 이 방법은 표준 범위 검색 절차 이전에 로그-확률을 편향하기만 하면 되므로, 범위 검색의 즉각적인 대체로 쉽게 구현할 수 있다.