[論文レビュー] Estimating High Order Gradients of the Data Distribution by Denoising

Chenlin Meng, Yang Song+2 more|arXiv (Cornell University)|Nov 8, 2021

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

本稿では、一般化されたツイーディの公式を用いて、サンプルから高次勾配（例えばヘッセ行列）を直接推定する新規手法を提案する。これは、ノイズ除去スコアマッチングを高次スコアへと拡張するものであり、自動微分による手法に比べ、より正確かつ効率的な2次スコア推定を可能にし、ラングジュアン動力学におけるサンプリング速度を向上させるとともに、ノイズ除去タスクにおける不確実性を定量化する。

ABSTRACT

The first order derivative of a data density can be estimated efficiently by denoising score matching, and has become an important component in many applications, such as image generation and audio synthesis. Higher order derivatives provide additional local information about the data distribution and enable new applications. Although they can be estimated via automatic differentiation of a learned density model, this can amplify estimation errors and is expensive in high dimensional settings. To overcome these limitations, we propose a method to directly estimate high order derivatives (scores) of a data density from samples. We first show that denoising score matching can be interpreted as a particular case of Tweedie's formula. By leveraging Tweedie's formula on higher order moments, we generalize denoising score matching to estimate higher order derivatives. We demonstrate empirically that models trained with the proposed method can approximate second order derivatives more efficiently and accurately than via automatic differentiation. We show that our models can be used to quantify uncertainty in denoising and to improve the mixing speed of Langevin dynamics via Ozaki discretization for sampling synthetic data and natural images.

研究の動機と目的

• 学習済み密度モデルの高次勾配を自動微分によって推定する際の非効率性と誤差の拡大を是正すること。
• 低次モデルに依存せずに、直接的かつサンプルベースの高次スコア（例えばヘッセ行列）推定手法の開発。
• オザキ離散化などの高次離散化スキームを可能にすることで、スコアベース生成モデルにおけるサンプリング効率の向上。
• 継続的共分散を反映する2次スコアを推定することで、ノイズ除去タスクにおける不確実性の定量化。
• 合成データおよび自然画像データセットにおけるスケーラビリティと精度の妥当性を実証すること。

提案手法

• 条件付きモーメントと高次スコアを結びつける高次スコアへのツイーディの公式の拡張を導出することで、ノイズ除去スコアマッチングを高次に拡張。
• 最小二乗回帰を用いてノイズ除去予測とスコア推定を結びつけ、高次導関数の直接学習を可能にする。
• 高次スコア推定目的の最適化安定性を向上させるための分散低減技術を導入。
• 一般化されたツイーディの公式から導出された微分可能目的関数を用いて、2次スコア（ヘッセ行列）を直接パラメータ化・訓練。
• 学習された2次スコアを用いて、オザキ離散化によりラングジュアン動力学における混合速度の向上を実現。
• 高次元における計算効率を維持するため、ヘッセ行列の対角または低ランク近似を採用。

実験結果

リサーチクエスチョン

• RQ1 低次モデルの自動微分に依存せずに、データサンプルから高次スコアを直接推定できるか？
• RQ2 ツイーディの公式をどのように拡張すれば、対数密度の高次導関数を推定できるか？
• RQ3 直接的な高次スコア推定は、自動微分による手法に比べ、より正確かつ効率的なヘッセ行列近似を実現できるか？
• RQ4 学習された高次スコアは、ラングジュアン動力学のようなサンプリングアルゴリズムの混合速度を向上させられるか？
• RQ5 2次スコアは、ノイズ除去タスクにおいて意味的な不確実性定量化を可能にするか？

主な発見

• MNISTデータセットにおいて、本手法は自動微分に比べて2次スコア推定を最大500倍高速化した。
• 本手法の目的関数で訓練されたモデルは、1次スコアモデルの自動微分によって得られるものよりも、2次スコアをより正確に近似した。
• 学習済み2次スコアを用いたオザキ離散化により、合成データおよびMNISTデータセットにおいて収束が速くなり、ラングジュアン動力学における混合速度が向上した。
• ノイズのある観測値の下で、継続的共分散を推定することで、ノイズ除去におけるより良い不確実性定量化が可能になった。
• 学習済みヘッセ行列を用いたオザキ離散化によるサンプリングチェーンでは、MNISTにおいて反復回数ごとにクラスラベルの変化率が高く、多様性が向上した。
• 低ランクまたは対角ヘッセ行列近似を用いることで、計算効率を維持し、高次元データへもスケーラブルに拡張可能である。