[論文レビュー] Autoregressive Models: What Are They Good For?

Murtaza Dalal, Alexander C. Li+1 more|arXiv (Cornell University)|Oct 17, 2019

Generative Adversarial Networks and Image Synthesis参考文献 14被引用数 11

ひとこと要約

この論文は、下流タスクにおける自己回帰的（AR）モデルの密度推定としての有用性を調査し、圧縮の分野で最先端のログリクアリティスコアを達成するが、感覚的品質やタスクパフォーマンスとは相関しないことを発見した。CIFAR-10で2.85ビット/次元という低い負のログリクアリティ（NLL）を達成しても、ARモデルは画像変換（ARCycle）において学習信号として機能せず、外れ値検出器としても機能せず、退化した出力や非CIFAR画像を実画像と誤分類する。

ABSTRACT

Autoregressive (AR) models have become a popular tool for unsupervised learning, achieving state-of-the-art log likelihood estimates. We investigate the use of AR models as density estimators in two settings -- as a learning signal for image translation, and as an outlier detector -- and find that these density estimates are much less reliable than previously thought. We examine the underlying optimization issues from both an empirical and theoretical perspective, and provide a toy example that illustrates the problem. Overwhelmingly, we find that density estimates do not correlate with perceptual quality and are unhelpful for downstream tasks.

研究の動機と目的

• 自己回帰的モデルの高いログリクアリティ推定値が、圧縮を超えた下流タスクにおいて有用であるかどうかを評価すること。
• 画像間変換におけるAR密度推定値の信頼性を学習信号として調査すること。
• 高次元データ（例：画像）における外れ値検出にARモデルが効果的に機能するかを評価すること。
• 良好なNLLスコアを達成しても退化した解に収束するARモデルの最適化失敗を診断すること。
• 生成モデルにおいて低い負のログリクアリティが感覚的品質や一般化性能を示すという仮定に疑問を呈すること。

提案手法

• 事前学習済みのARモデル（PixelCNN++）の負のログリクアリティ（NLL）とサイクル整合性損失を組み合わせた訓練目的であるARCycleを提案し、画像変換をガイドする。
• 色付きMNISTおよびCIFAR-10でARCycleを訓練し、生成器ネットワークの教師信号としてNLLを用いた。
• CIFAR-10の学習データにおける平均NLLの周囲に1SD、2SD、片側区間を用いた3つのARベースのしきい値を用いて外れ値検出を評価した。
• 深層特徴とガウスモデルを用いるベースライン手法であるクラス条件付きガウス分布（CCG）とARベースの外れ値検出を比較した。
• CIFAR-10で分類器（Inception-v1）を学習し、特徴表現を抽出し、クラス条件付きガウス分布をフィッティングして外れ値検出を実施した。
• SVHN、ノイズ、全黒・全白画像を含む多様なテストセットにおいて、NLLの指標としてビット/次元を用いてARモデルのスコアを評価した。

実験結果

リサーチクエスチョン

• RQ1 自己回帰的モデルのログリクアリティスコアは、教師なし画像変換のための信頼できる学習信号として機能するか？
• RQ2 ARモデルが得る高いログリクアリティ推定値は、生成画像の感覚的品質や現実性と相関するか？
• RQ3 ARモデルは、SVHNやランダムノイズのような高次元画像データにおける外れ値を効果的に検出できるか？
• RQ4 ARモデルが訓練中に低いNLLスコアを達成しても、なぜ退化した解に収束するのか？
• RQ5 実世界の画像分布シフトにおいて、ARモデルの密度推定値はCCGのような代替外れ値検出手法と比較してどうなるか？

主な発見

• NLLとサイクル整合性を組み合わせたARCycleは、MNIST空間で低NLL（3ビット/次元まで）を達成したが、線状のパターンを生成するに至り、現実的な数字の生成に失敗した。
• 実CIFAR-10テスト画像のNLLは2.92ビット/次元であったが、WGAN-GPで生成された画像のNLLは6.52ビット/次元と低く、低NLLと感覚的品質の間に相関がないことを示した。
• ARモデルはSVHN画像に対してCIFAR-10実画像よりも高いログリクアリティ（低いNLL）を割り当て、90.9％の確率でSVHN画像をイン・ディストリビューションと分類した。
• 全黒および全白画像はそれぞれ0.008および0.16ビット/次元という極めて低いNLLスコアを示し、ARモデルが顕著な外れ値を検出できないことを示した。
• CCG手法はCIFAR-10テスト画像の92.3％をイン・ディストリビューションとして正しく分類したが、AR-2SDおよびAR-One-sided区間はそれぞれSVHN画像の92.5％および94.7％をCIFAR-10と誤分類した。
• 生成出力または事前学習済み生成器にガウスノイズを適用しても、ARCycleは依然として現実的な画像を生成できず、NLL目的自体に根本的な最適化上の問題があることを示唆した。