[論文レビュー] Transformation Autoregressive Networks

Junier B. Oliva, Avinava Dubey+5 more|arXiv (Cornell University)|Jan 30, 2018

Anomaly Detection Techniques and Applications参考文献 31被引用数 20

ひとこと要約

この論文では、非線形変数変換と自己回帰的モデリングを統合することで、実数値データの密度推定を向上させる、新しいフレームワークである変換自己回帰ネットワーク（TANs）を提案する。可逆変換（RNNベースおよび線形変換を含む）と柔軟な自己回帰的条件付きモデル（LAMおよびRAM）を組み合わせることで、TANsは多様なデータセットで最先端の性能を達成し、密度推定および異常検出やパrametricな分布族の学習といった下流タスクにおいて、単独の自己回帰モデルやノーマライジングフロー手法を著しく上回る性能を発揮する。

ABSTRACT

The fundamental task of general density estimation $p(x)$ has been of keen interest to machine learning. In this work, we attempt to systematically characterize methods for density estimation. Broadly speaking, most of the existing methods can be categorized into either using: extit{a}) autoregressive models to estimate the conditional factors of the chain rule, $p(x_{i}\, |\, x_{i-1}, \ldots)$; or extit{b}) non-linear transformations of variables of a simple base distribution. Based on the study of the characteristics of these categories, we propose multiple novel methods for each category. For example we proposed RNN based transformations to model non-Markovian dependencies. Further, through a comprehensive study over both real world and synthetic data, we show for that jointly leveraging transformations of variables and autoregressive conditional models, results in a considerable improvement in performance. We illustrate the use of our models in outlier detection and image modeling. Finally we introduce a novel data driven framework for learning a family of distributions.

研究の動機と目的

• 単独で自己回帰的モデリングやノーマライジングフローに依存する既存の密度推定手法の限界を解消すること。
• 変数変換と自己回帰的条件付きモデルを併用することで、モデリングの柔軟性と tractable な学習を向上させること。
• 変換モジュールおよび条件付きモデリングモジュールのための新しい効果的なコンponentsを開発すること。
• 異常検出やパrametricな分布族の学習といった下流タスクにおけるTANsの有効性を示すこと。
• 真のパrameterにアクセスできない状況でも、データ駆動型フレームワークとしてパラメトリックな分布族を学習する仕組みを導入すること。

提案手法

• 条件付き密度推定のための2つの新しい自己回帰モデル、線形自己回帰モデル（LAM）および再帰的自己回帰モデル（RAM）を提案する。
• 新しい可逆変換を導入する：学習可能な線形変換、説明変数に直接作用するRNNベースの変換、および加法的RNNベースの変換。
• ヤコビアン行列式を用いて変数変換の公式を適用し、変換空間からの密度を元の空間に再帰的にマッピングする。
• DeepSetsによる集合埋め込みを用いて、パラメトリックな分布族に属する複数の分布を同時にモデル化する共通のTANモデルを構築する。
• 各データセットの埋め込みを学習した上で条件づける、修正された尤度目的関数を最適化する。
• アブレーションスタディおよび検証を実施し、尤度性能に基づいて最適なモデルコンponentsを選定する。

実験結果

リサーチクエスチョン

• RQ1 自己回帰的モデリングと非線形変数変換を組み合わせることで、単独のアプローチよりも優れた密度推定が可能になるか？
• RQ2 RNNベースの変換と線形変換といった異なる変換アーキテクチャは、モデリング能力と性能にどのように影響を与えるか？
• RQ3 TANsは高次元データにおける複雑な非マルコフ的依存関係を効果的にモデル化できるか？
• RQ4 真のパrameterにアクセスできない状況でも、パラメトリックな分布族に属する未観測の分布に一般化できるか？
• RQ5 共同モデリングフレームワークは、異常検出のような下流タスクでの性能向上に寄与するか？

主な発見

• TANsは、多様な実世界および合成データセットにおいて、単独の自己回帰モデルやノーマライジングフローを著しく上回る性能を発揮する。
• アブレーションスタディにおいて、RAMにL RNN変換を、LAMにL RNN+4xAdd+Re変換を組み合わせた構成が最も優れた尤度性能を達成した。
• 3つのベンチマークデータセットにおいて、異常検出の平均精度が最先端を記録し、低密度領域の効果的な学習を示した。
• ShapeNetの未学習カテゴリからも現実的なサンプルを生成できたため、パラメトリックな分布族における新しい分布への一般化能力が優れていることが示された。
• 真のパrameterにアクセスできない状況でも、パラメトリックな分布族を学習するデータ駆動型フレームワークにより、ゼロショット生成が可能である。
• アブレーションスタディから、分離された線形条件付きモデルとRNNベースの変換は、実務的に有効であるが、従来は見過ごされていた要因であることが判明した。