[論文レビュー] Stochastic Beams and Where to Find Them: The Gumbel-Top-k Trick for Sampling Sequences Without Replacement

Wouter Kool, Herke van Hoof+1 more|UvA-DARE (University of Amsterdam)|Mar 14, 2019

Topic Modeling参考文献 40被引用数 18

ひとこと要約

この論文では、因子化された系列モデルから重複なしにサンプリングするための新しい手法であるStochastic Beam Searchを紹介する。Gumbel-Top-kトリックを用いて対数確率を確率的に入力し、トップ-k選択を適用することで、kおよび系列長に線形に比例するモデル評価で正確で多様なサンプリングを実現する。翻訳および推定タスクにおいて、標準的なサンプリングおよびビームサーチよりも多様性と分散低減の面で優れている。

ABSTRACT

The well-known Gumbel-Max trick for sampling from a categorical distribution can be extended to sample $k$ elements without replacement. We show how to implicitly apply this 'Gumbel-Top-$k$' trick on a factorized distribution over sequences, allowing to draw exact samples without replacement using a Stochastic Beam Search. Even for exponentially large domains, the number of model evaluations grows only linear in $k$ and the maximum sampled sequence length. The algorithm creates a theoretical connection between sampling and (deterministic) beam search and can be used as a principled intermediate alternative. In a translation task, the proposed method compares favourably against alternatives to obtain diverse yet good quality translations. We show that sequences sampled without replacement can be used to construct low-variance estimators for expected sentence-level BLEU score and model entropy.

研究の動機と目的

• 標準的なサンプリング（低エントロピー分布における重複の問題）および決定的ビームサーチ（多様性の欠如と確率的解釈の欠如）の限界を解消すること。
• 高品質で多様な出力を維持しつつ、重複なしの系列サンプリングのための原理的かつ整合性のある手法を開発すること。
• 代表的なサンプルを用いてBLEUスコアやエントロピーといったモデルメトリクスの低分散推定器を可能にすること。
• サンプリングとビームサーチの間のギャップを埋めることで、確率的摂動を用いてビームサーチに確率的解釈を与えること。

提案手法

• 次のトークン分布の対数確率に独立なGumbelノイズを追加することで、因子化された系列モデルにGumbel-Top-kトリックを適用する。
• 摂動された対数確率に基づいてビームサーチを実行し、各ステップで摂動スコアの合計に基づいてトップ-kの系列を選択する。
• 摂動された対数確率のargmaxがカテゴリカル分布からのサンプルをもたらす（Gumbel-Maxトリック）という性質を、重複なしのサンプリングに拡張してトップ-kに応用する。
• 全指数的系列空間を生成しないトップダウンのサンプリング戦略を実装し、効率性を維持する。
• Gumbelプロセスにおけるmaxとargmaxの独立性を活用して、重複なしの有効なサンプリングを保証する。
• サンプルされた系列を用いて文単位のBLEUおよびモデルエントロピーの推定器を構築し、モンテカルロサンプリングよりも分散を低減する。

実験結果

リサーチクエスチョン

• RQ1 因子化された系列モデルにGumbel-Top-kトリックを暗黙的に適用することで、系列空間の完全な列挙を避けて重複なしのサンプリングが可能になるか？
• RQ2 Stochastic Beam Searchは、サンプリングと同等の高品質で、決定的ビームサーチよりも多様性のある系列を生成できるか？
• RQ3 モンテカルロサンプリングと比較して、Stochastic Beam SearchはBLEUスコアやエントロピーといったモデルメトリクスの推定器において低分散を達成できるか？
• RQ4 この手法は、系列モデリングタスクにおいて、サンプリングおよびビームサーチの両方の代替手段として原理的かつ実用的に使用可能か？

主な発見

• Stochastic Beam Searchは、ニューラル機械翻訳モデルから多様で重複のない系列を効果的に生成し、多様性指標において標準的なサンプリングを上回った。
• 特に低温設定（T < 0.5）において、期待BLEUスコアおよびモデルエントロピー推定器の分散がモンテカルロサンプリングと比較して顕著に低減された。
• T = 0.5の場合、正規化されたSBS推定器の分散はモンテカルロと同等であったが、サンプル品質は高く、1サンプルあたりの計算コストは低かった。
• アルゴリズムはkおよび系列長に対して線形にスケーリングされ、すべての系列を列挙する指数的コストを回避する。
• このアプローチは、サンプリングとビームサーチの間の理論的・実用的な橋渡しを提供し、サンプリングの多様性とビームサーチの効率性・品質を統合する。
• この手法は、標準的なビームサーチ手順の前に対数確率を摂動するだけで、ビームサーチの即時置換として実装可能である。