[論文レビュー] Anytime Sampling for Autoregressive Models via Ordered Autoencoding

Yilun Xu, Yang Song+5 more|arXiv (Cornell University)|Feb 23, 2021

Generative Adversarial Networks and Image Synthesis参考文献 29被引用数 6

ひとこと要約

本稿では、再構成の重要度に基づいて潜在表現を構造化する順序付き自己符号化器を用いて、自己回帰モデルにおけるいつでも採番（anytime sampling）を提案する。これらの順序付き離散的コード上でTransformerを学習することで、計算量を削減してもサンプル品質が滑らかに低下する仕組みが実現され、再訓練なしに計算制約に応じたリアルタイムな適応が可能になる。FIDスコアはほぼ最先端水準を達成しており（例：潜在次元数の60–80％でFIDが1.5未満の低下）、計算リソースに応じた品質・速度のトレードオフを柔軟に制御できる。

ABSTRACT

Autoregressive models are widely used for tasks such as image and audio generation. The sampling process of these models, however, does not allow interruptions and cannot adapt to real-time computational resources. This challenge impedes the deployment of powerful autoregressive models, which involve a slow sampling process that is sequential in nature and typically scales linearly with respect to the data dimension. To address this difficulty, we propose a new family of autoregressive models that enables anytime sampling. Inspired by Principal Component Analysis, we learn a structured representation space where dimensions are ordered based on their importance with respect to reconstruction. Using an autoregressive model in this latent space, we trade off sample quality for computational efficiency by truncating the generation process before decoding into the original data space. Experimentally, we demonstrate in several image and audio generation tasks that sample quality degrades gracefully as we reduce the computational budget for sampling. The approach suffers almost no loss in sample quality (measured by FID) using only 60\% to 80\% of all latent dimensions for image data. Code is available at https://github.com/Newbeeer/Anytime-Auto-Regressive-Model .

研究の動機と目的

• 動的な計算制約下での適応的自己回帰的生成を可能とすること。特に、生成の任意の段階で中断可能であることを目的とする。
• 標準的な自己回帰モデルが全順序的計算を必要とし、デバイスの能力に応じて調整できないという制限を克服すること。
• 実行時リソースに応じて、サンプル品質と推論速度の間でリアルタイムでトレードオフを可能にする、1つのモデルを構築すること。
• PCAから離散的潜在空間（例：VQ-VAEにおけるもの）への順序付き表現の概念を拡張し、自己回帰的モデリングに応用すること。
• 順序付き潜在空間における生成プロセスの切り上げ（truncation）が、最小限の損失でサンプル品質の滑らかな低下をもたらすことを示すこと。

提案手法

• 再構成の重要度に基づいて次元を順序付けた順序付きVQ-VAEを学習し、微分可能順位付け目的関数を用いて構造化された潜在空間を学習する。
• 標準的な自己回帰モデル（例：Transformer）を、順序付けられた潜在空間上で使用し、上位の順位を持つ次元から順に生成する。
• 潜在系列の任意の時点で自己回帰的生成を打ち切ることで、いつでも採番（anytime sampling）を可能にする。
• 高次元潜在表現の学習効率を向上させるために、モンテカルロ推定を用いる。
• 復号が高速であることに着目し、推論時間は使用する潜在次元数に線形に比例することを活用する。
• キャッシュや distillation といった既存の高速化技術と組み合わせても、サンプル品質に損なわれることなく利用可能である。

実験結果

リサーチクエスチョン

• RQ1 生成の任意の段階で中断可能な自己回帰モデルを設計できるか？
• RQ2 再構成の重要度に基づいて順序付けられた潜在空間で学習することで、計算量を削減してもサンプル品質が滑らかに低下するか？
• RQ3 生成に使用する潜在次元数をどれだけ削減しても、高いサンプル品質を維持できるか？
• RQ4 提案手法は、画像生成および音声生成の両タスクに一貫した性能で適用可能か？
• RQ5 さまざまな計算リソース制約下で、切り上げられたサンプルの品質は、完全生成ベースラインと比べてどの程度か？

主な発見

• CIFAR-10およびCelebAにおいて、潜在次元数の60％～80％を使用するだけで、FIDスコアの低下が最小限（例：1.5未満）に抑えられ、ほぼ理想に近いサンプル品質が達成された。
• 切り上げに伴いサンプル品質が滑らかに低下し、計算リソースの変動に応じた速度と忠実度の滑らかなトレードオフが実現された。
• VCTK音声データセットにおいて、モデルは低周波成分を最初に生成し、より多くの潜在次元が追加されるにつれて高周波成分の詳細を精緻化した。
• 再訓練なしに、デバイス固有の計算制約に応じたリアルタイムな適応が可能であり、異種ハードウェアへの展開を支援する。
• キャッシュや知識蒸留といった既存の高速化技術とも互換性があり、サンプル品質に損なわれることなく適用可能である。
• 順序付き自己符号化器の学習は安定的かつスケーラブルであり、高次元表現に対しても有効で、複雑な正則化や幾何分布を必要とする先行手法を上回った。