[論文レビュー] Predictive Sampling with Forecasting Autoregressive Models

Auke Wiggers, Emiel Hoogeboom|arXiv (Cornell University)|Feb 23, 2020

Music and Audio Processing参考文献 31被引用数 7

ひとこと要約

本稿では、固定点反復法または学習済みモジュールを用いて、元のモデルの尤度を保ちつつ、将来のトークンの可能性を予測することで、自己回帰的モデル（ARMs）における祖先サンプリングの速度を向上させる予測的サンプリングという新規アルゴリズムを提案する。CIFAR10では、必要な順方向プロパゲーションを最大74%まで削減し、分布の忠実性を損なわず、著しく高速なサンプリングを実現する。

ABSTRACT

Autoregressive models (ARMs) currently hold state-of-the-art performance in likelihood-based modeling of image and audio data. Generally, neural network based ARMs are designed to allow fast inference, but sampling from these models is impractically slow. In this paper, we introduce the predictive sampling algorithm: a procedure that exploits the fast inference property of ARMs in order to speed up sampling, while keeping the model intact. We propose two variations of predictive sampling, namely sampling with ARM fixed-point iteration and learned forecasting modules. Their effectiveness is demonstrated in two settings: i) explicit likelihood modeling on binary MNIST, SVHN and CIFAR10, and ii) discrete latent modeling in an autoencoder trained on SVHN, CIFAR10 and Imagenet32. Empirically, we show considerable improvements over baselines in number of ARM inference calls and sampling speed.

研究の動機と目的

• 自己回帰的モデル（ARMs）のサンプリング速度が遅いため、評価は速いが、逐次的依存性のためサンプリングが遅いという問題に取り組む。
• 元のモデルの尤度と自己回帰的構造を維持しながら、必要な順方向プロパゲーションの回数を著しく削減するサンプリング手法を開発する。
• 明示的尤度モデリングおよび離散的潜在変数モデル（例：自己回帰的事前分布を備えたVAE）において、効率的な祖先サンプリングを可能にする。
• 再トレーニングなしで並列推論を活用できる2つの予測メカニズム——ARM固定点反復法および学習済み予測モジュール——を検討する。

提案手法

• 入力コンテキストと独立したノイズの関数としてARMのサンプリングプロセスを再パrametrizeし、将来の値の予測を可能にする。
• ARM固定点反復法を用い、予測された系列にモデルを再適用することで、一貫性のある予測に段階的に収束させる。
• 同じARMの最終層の1つ前（penultimate-layer）の表現を用いて、将来のトークンを予測する別個の予測モジュールを学習し、より高速で学習済みの予測を実現する。
• 予測をサンプリングループに統合する：予測結果がモデル出力と一致する場合、以降の順方向プロパゲーションをスキップすることで、総合的な推論コール数を削減する。
• ニューラルARMの並列推論能力を活用し、観測済みおよび予測済みトークンに条件づけることで、厳密な自己回帰的依存関係を維持する。
• メインモデルと予測ヘッドの間でARMの表現を共有することで、効率性と一貫性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 モデルを変更せず、尤度性能を損なわず、ARMにおける祖先サンプリングに必要な順方向プロパゲーションの回数を削減できるか？
• RQ2 追加のトレーニングなしに、ARM自体のパラメータのみを用いて固定点反復法が将来のトークンを予測する効果はどの程度か？
• RQ3 学習済み予測モジュールは、ベースライン自己回帰的サンプリングと比較して、どの程度サンプリング速度を向上させるか？
• RQ4 VAEに自己回帰的事前分布を備えたような潜在変数モデルにおいて、予測的サンプリングが真のモデル分布を維持できるか？
• RQ5 再パrametrizeと表現共有は、予測的サンプリングにおける予測の正確性と効率性にどのような影響を与えるか？

主な発見

• ARM固定点反復法は、CIFAR10において、ベースラインの25.9% ± 1.1にまで順方向プロパゲーションの回数を削減し、サンプリング時間で6.5倍の高速化を達成した。
• 学習済み予測モジュールは、ベースラインの50.9% ± 1.8にまで順方向プロパゲーションを削減し、標準的な自己回帰的サンプリングと比較してサンプリング時間をほぼ半減させた。
• アブレーションスタディでは、再パrametrizeのみで順方向プロパゲーションを97.2%から25.9%にまで削減したことが判明し、正確な予測を可能にする上で中心的な役割を果たしていることが示された。
• 予測モジュールにおける表現共有により、順方向プロパゲーションは67.1%から50.9%にまで削減され、共有表現が予測の一貫性を向上させることを示した。
• CIFAR10およびImageNet32でトレーニングされたVAEにおける潜在空間のサンプリングにおいて、予測的サンプリングはサンプリング時間を著しく短縮した一方で、サンプル品質を維持した。
• 収束解析の結果、画像の左側の画素が右側の画素よりも早く収束することが確認され、自己回帰的依存構造と整合的であった。