[論文レビュー] TraDE: Transformers for Density Estimation

Rasool Fakoor, Pratik Chaudhari+2 more|arXiv (Cornell University)|Apr 6, 2020

Generative Adversarial Networks and Image Synthesis参考文献 70被引用数 13

ひとこと要約

TraDEは、連続的および離散的データの両方を扱う自己注意型自己回帰的密度推定器を、変換器を用いて提案する。正則化付き最大尤度による学習により、サンプル品質と頑健性を向上させる。Tabularおよび画像ベンチマークにおいて、最新の尤度スコアを達成し、生成、OOD検出、ノイズ耐性の面で、ノーマライジングフローおよびRNNベースのモデルを上回る結果を示した。

ABSTRACT

We present TraDE, a self-attention-based architecture for auto-regressive density estimation with continuous and discrete valued data. Our model is trained using a penalized maximum likelihood objective, which ensures that samples from the density estimate resemble the training data distribution. The use of self-attention means that the model need not retain conditional sufficient statistics during the auto-regressive process beyond what is needed for each covariate. On standard tabular and image data benchmarks, TraDE produces significantly better density estimates than existing approaches such as normalizing flow estimators and recurrent auto-regressive models. However log-likelihood on held-out data only partially reflects how useful these estimates are in real-world applications. In order to systematically evaluate density estimators, we present a suite of tasks such as regression using generated samples, out-of-distribution detection, and robustness to noise in the training data and demonstrate that TraDE works well in these scenarios.

研究の動機と目的

• 可逆性の制約がないまま、連続的および離散的データの両方を扱える柔軟でスケーラブルな自己回帰的密度推定器の開発。
• 尤度スコアを超えたサンプル品質と一般化性能の向上を、実世界の下流タスクを用いて評価すること。
• 自己注意機構が、特に長距離依存性を捉えるのに適していることの実証。
• 回帰、OOD検出、ノイズ耐性ベンチマークを用いて、尤度スコア以外の観点からも密度推定器を体系的に評価すること。

提案手法

• TraDEは、自己注意機構を用いて条件付き密度を自己回帰的にモデル化する変換器アーキテクチャを採用し、特徴を逐次処理する。
• 履歴の過去に生成された変数を効果的にモデル化できるように、RNNベースの入力埋め込みを採用する。
• 一般化性能の向上と過学習の防止を図るため、正則化付き最大尤度目的関数を用いて学習を行う。
• 自己注意機構により、高次元の十分統計量を保存する必要なく、関連する過去の変数に注目できる。これはRNNとは対照的である。
• 可逆フローの計算やヤコビアンの計算を必要としないため、ノーマライジングフローに比べてより柔軟なアーキテクチャを実現できる。
• 出力ヘッドにおける適切な条件付き分布のパrameterizationにより、連続的および離散的データの両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 変換器ベースのアーキテクチャは、連続的および離散的データにおける自己回帰的密度推定で最先端の性能を達成できるか？
• RQ2 TraDEの密度推定結果は、回帰や分布外検出といった実世界の下流タスクでどの程度有効か？
• RQ3 既存の手法と比較して、TraDEはノイズを含む学習データに対してどの程度頑健か？
• RQ4 自己注意機構は、自己回帰的密度推定において、RNNに比べて長距離依存性をモデル化する点で優位性を示すか？
• RQ5 尤度スコアは、下流アプリケーションにおける実用的価値とどの程度相関しているか？

主な発見

• HEPMASSデータセットにおいて、TraDEはテスト尤度スコアを-11.98 natsに達成し、NSF（-14.51）およびRNNベースのモデルを上回った。
• 生成されたサンプルを用いた回帰タスクにおいて、TraDEはHEPMASSでMSE 0.780を達成し、実データ（0.773）に非常に近い結果を得た。一方、標準的な変換器では1.37であった。
• 本物のデータと生成されたデータを区別する二標本検定の正答率は、TraDEでは51±1%であり、標準的な変換器の88±15%と比べて著しく低く、より優れたサンプル品質を示している。
• Pendigitsでは平均再現率0.98、ForestCoverでは0.95、Satimage-2では1.0を達成し、NADE、NICE、TANを上回った。
• ノイズが10%含まれる学習データにおいても、TraDEは尤度スコアを-12.43 natsに維持し、清浄データでの高い性能を誇る一方で、NSFと同等の耐性を示した。
• アブレーションスタディにより、自己注意機構とRNNベースの入力埋め込みの組み合わせが、TraDEの性能の鍵であることが確認され、その欠落により下流タスクの正答率が著しく低下した。