[論文レビュー] AR-DAE: Towards Unbiased Neural Entropy Gradient Estimation

Jae Hyun Lim, Aaron Courville+2 more|arXiv (Cornell University)|Jun 9, 2020

Model Reduction and Neural Networks被引用数 4

ひとこと要約

本稿では、非定常な分布における不偏エントロピー勾配推定のための、勾配の対数密度を推定する条件付きノイズ除去オートエンコーダであるAR-DAEを提案する。学習時に変動するノイズレベルで条件付け、推論時にσ=0で行うことで、漸近的に不偏な勾配推定を達成し、変分オートエンコーダーや連続的制御のためのソフトアクターキャリブレーションで最先端の性能を実現する。

ABSTRACT

Entropy is ubiquitous in machine learning, but it is in general intractable to compute the entropy of the distribution of an arbitrary continuous random variable. In this paper, we propose the amortized residual denoising autoencoder (AR-DAE) to approximate the gradient of the log density function, which can be used to estimate the gradient of entropy. Amortization allows us to significantly reduce the error of the gradient approximator by approaching asymptotic optimality of a regular DAE, in which case the estimation is in theory unbiased. We conduct theoretical and experimental analyses on the approximation error of the proposed method, as well as extensive studies on heuristics to ensure its robustness. Finally, using the proposed gradient approximator to estimate the gradient of entropy, we demonstrate state-of-the-art performance on density estimation with variational autoencoders and continuous control with soft actor-critic.

研究の動機と目的

• 非定常なデータ分布を持つ暗黙的生成モデルにおけるエントロピーの不偏勾配推定の課題に対処すること。
• 漸近的バイアス低減に必要な小さなノイズレベルと、ノイズ除去オートエンコーダーにおける勾配の消失の間のトレードオフを解消すること。
• 学習時にノイズレベルの分布を用いながら、推論時にσ=0に一般化できる手法を開発すること。
• VAE や SAC などの複雑で構造的なモデルにおけるエントロピー最大化/最小化のための確率的バックプロパゲーションを可能にすること。
• 正確で低バイアスなエントロピー勾配推定を提供することで、密度推定および連続的制御の性能を向上させること。

提案手法

• 学習時にノイズレベルσを条件付け、推論時にσ=0における対数密度勾配を予測するアモルタイズドリジッドノイズ除去オートエンコーダー（AR-DAE）を提案する。
• 残差構造を用いてノイズ除去関数をリジッド接続としてモデル化し、学習の安定性と一般化性能を向上させる。
• σを入力とする条件付きDAEを採用することで、σ=0への一般化を可能にする連続関数を学習可能にする。
• 推定された対数密度勾配をパス導関数を用いてエントロピー勾配に適用し、エントロピー目的に対するバックプロパゲーションを可能にする。
• σ→0における真の対数密度勾配への収束を維持しつつ、勾配の消失を回避するため、ノイズレベルの分布に沿ってAR-DAEを学習する。
• σの値を変化させるマルチスケール学習戦略を採用し、σ=0への一般化と頑健性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ノイズ除去オートエンコーダーは、最適化中の勾配の消失を回避しつつ、σ=0への一般化を達成できるか？
• RQ2 σへのアモルタイズド条件付けは、標準的なDAEと比較して、エントロピー勾配推定においてより優れた一般化性能と低い近似誤差を実現できるか？
• RQ3 AR-DAEは、非定常で暗黙的な密度モデルにおけるエントロピーの不偏勾配推定を提供できるか？
• RQ4 AR-DAEは、変分オートエンコーダーを用いた密度推定およびソフトアクターキャリブレーションを用いた連続的制御において、性能をどのように向上させるか？
• RQ5 どのようなハイパーパrameter選択とアーキテクチャ設計が、頑健で正確なエントロピー勾配推定を実現するか？

主な発見

• 複数のデータセットにおいて、ベースラインのDAEや他のベースラインと比較して、AR-DAEは対数密度勾配推定において顕著に低い近似誤差を達成する。
• 変分オートエンコーダーを用いた動的および静的バイナリ化MNISTにおける密度推定において、最先端の性能を実現する。
• 連続的制御タスクにおいて、AR-DAEはソフトアクターキャリブレーションにおけるサンプル効率と最終的な性能を向上させ、特にHalfCheetahやAntのような環境で顕著な改善を示す。
• アブレーションスタディにより、σの値の分布に沿った学習がσ=0への一般化を向上させ、最終的な勾配推定のバイアスを低減することが確認された。
• 残差接続の使用と適切な正規化（例：ソフトプラス活性化関数）が、学習の安定性と収束性を向上させる。
• ポリャク平均化と慎重な学習率スケジューリングにより、エントロピー勾配推定器の頑健性と性能がさらに向上した。