[論文レビュー] Improved Autoregressive Modeling with Distribution Smoothing

Chenlin Meng, Jiaming Song+3 more|arXiv (Cornell University)|Mar 28, 2021

Generative Adversarial Networks and Image Synthesis参考文献 40被引用数 4

ひとこと要約

本稿では、ノイズを用いてデータ分布を平滑化し、平滑化された分布上で自己回帰モデルを学習した後、勾配ベースのまたは条件付きモデリングによるデノイジングによって、最初に平滑化された分布上で自己回帰モデルを学習し、その後勾配ベースまたは条件付きモデリングによるデノイジングを経て、サンプル品質を向上させる2段階の自己回帰モデリング手法を提案する。この手法は、合成データおよび実世界の画像データセットにおいて顕著にサンプル品質を向上させつつ、競争力のある尤度を維持する。これは、 adversarial defense におけるランダム化スムージングにインspiredされている。

ABSTRACT

While autoregressive models excel at image compression, their sample quality is often lacking. Although not realistic, generated images often have high likelihood according to the model, resembling the case of adversarial examples. Inspired by a successful adversarial defense method, we incorporate randomized smoothing into autoregressive generative modeling. We first model a smoothed version of the data distribution, and then reverse the smoothing process to recover the original data distribution. This procedure drastically improves the sample quality of existing autoregressive models on several synthetic and real-world image datasets while obtaining competitive likelihoods on synthetic datasets.

研究の動機と目的

• 高尤度を示すにもかかわらず、実世界の画像データセットにおいて自己回帰モデルのサンプル品質が低いという問題に取り組む。
• データ分布における高いリプシッツ定数と多様体構造の課題を軽減する。
• データ分布のスムージングにより、自己回帰生成における誤差の累積を低減する。
• 以前は adversarial defense に用いられていたランダム化スムージングを生成モデリングに適応する。
• 尤度性能を犠牲にすることなく、高精細なサンプル生成を可能にする。

提案手法

• データ分布に対称的かつ定常的なノイズ（例：ガウス分布）を適用して、滑らかにしたバージョンを作成し、密度の急峻な遷移を低減する。
• 滑らかにした分布上で自己回帰モデルを学習し、より安定で完全にサポートされた密度を学習する。
• スムージングの逆操作としてデノイジングを実行：勾配ベースのデノイジングまたは条件付き自己回帰モデルを用いて、ノイズを含む入力を元のデータに回復する。
• ノイズに強い滑らかな分布からの出発点を用いて、高品質なサンプルを生成する。
• ガウス分布を超える柔軟なノイズ分布を許容し、先行するデノイジング手法と比較してより広範な適用可能性を実現する。
• 既存の自己回帰モデルのアーキテクチャを変更せずに、2段階のプロセスを統合する。

実験結果

リサーチクエスチョン

• RQ1 データ分布のランダム化スムージングは、尤度を低下させることなく、自己回帰モデルのサンプル品質を向上させることができるか？
• RQ2 データ分布のスムージングは、実世界のデータにおける高いリプシッツ定数と多様体構造の影響をどのように軽減するか？
• RQ3 滑らかにした分布で学習し、その後デノイジングを行う2段階アプローチは、標準的な自己回帰モデリングよりもサンプルの忠実度において優れているか？
• RQ4 この手法は、画像補完やデノイジングなどの他のタスクにも一般化可能か？
• RQ5 ノイズスケールの選択が、サンプル品質と尤度のトレードオフにどのように影響するか？

主な発見

• 提案手法は、合成データおよび実世界の画像データセット（CIFAR-10 や CelebA を含む）において、合成データの尤度性能を維持しつつ、顕著にサンプル品質を向上させる。
• 2次元の合成データセットでは、RealNVP よりもサンプル品質が優れており、人間の観察者による評価でも滑らかにしたモデルの出力が好まれた。
• CIFAR-10 では、Frechet Inception Distance (FID) が 10.2 に達し、ベースラインの自己回帰モデルと比較して顕著に向上した。
• 元のモデルのサンプル品質が低くても、このアプローチにより高品質な画像生成が可能であり、誤差の累積に対するロバストネスを示した。
• この手法は画像補完やデノイジングにも一般化可能であり、デノイジングヘッドが下流タスクに再利用可能であることが示された。
• アブレーションスタディにより、モデルではなくデータ分布のスムージングがサンプル品質向上において最も顕著な向上をもたらすことが確認された。