[論文レビュー] Adversarial random forests for density estimation and generative modeling

David Watson, Kristin Blesch+2 more|arXiv (Cornell University)|May 19, 2022

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

この論文は、混合連続およびカテゴリカル特徴を有する表形式データにおける密度推定および合成データ生成のための、未知の非教師あり手法である敵対的ランダムフォレスト（ARFs）を紹介する。生成的敵対的ネットワークにインspiredされ、ARFsは交互に生成と識別フィードバックを繰り返すことで密度推定を段階的に改善し、最小限の仮定のもとで証明可能な一貫性を達成するとともに、深層学習モデルと比較して最大100倍高速な推論を実現しながら、ベンチマークデータセットにおいて最先端の性能を達成または上回る。

ABSTRACT

We propose methods for density estimation and data synthesis using a novel form of unsupervised random forests. Inspired by generative adversarial networks, we implement a recursive procedure in which trees gradually learn structural properties of the data through alternating rounds of generation and discrimination. The method is provably consistent under minimal assumptions. Unlike classic tree-based alternatives, our approach provides smooth (un)conditional densities and allows for fully synthetic data generation. We achieve comparable or superior performance to state-of-the-art probabilistic circuits and deep learning models on various tabular data benchmarks while executing about two orders of magnitude faster on average. An accompanying $ exttt{R}$ package, $ exttt{arf}$, is available on $ exttt{CRAN}$.

研究の動機と目的

• 混合連続およびカテゴリカル特徴を有する表形式データにおける連合密度推定のための、高速で一貫性があり、取り扱いやすい手法の開発。
• 個人情報の露呈を伴わずに統計的性質を保持する完全な合成データ生成の実現。
• 従来の木ベースのモデルが示す不連続な密度推定と生成能力の欠如といった制限を克服すること。
• ランダムフォレストの効率性と確率的推論の取り扱いやすさを組み合わせることで、確率的回路と深層生成モデルの間のギャップを埋めること。
• デフォルトのハイパーパrameterで良好に動作し、最小限のチューニングで済む手法の提供。

提案手法

• 木が交互に合成データを生成し、識別器によって改善される再帰的で敵対的な学習手順を採用する。
• 各木は、葉ノード内で滑らかな密度推定器（カーネル密度推定や最尤推定など）を適合させることで、局所的な密度構造を学習する。
• 最小限の仮定のもとで、サンプルサイズが増加するにつれて真の密度に収束することが証明可能である。
• 得られるフォレストは確率的回路にコンパイル可能であり、マージナル化や条件付き推論を含む正確かつ効率的な推論が可能となる。
• 混合データ型を自然に扱い、無条件および条件付き密度推定の両方をサポートする。
• Rパッケージ arf としてCRANに公開されており、Python版も開発中である。

実験結果

リサーチクエスチョン

• RQ1 木ベースの手法は、混合特徴タイプを有する表形式データに対して、滑らかで一貫性があり、取り扱いやすい密度推定を達成できるか？
• RQ2 ランダムフォレストにおける敵対的学習は、広範なハイパーパrameterチューニングを要せず、高品質な合成データ生成を可能にするか？
• RQ3 速度、正確性、推論効率の観点から、敵対的ランダムフォレストは最先端の深層生成モデルおよび確率的回路と比較してどの程度の性能を示すか？
• RQ4 ARFsは、異常検知、クラスタリング、分類といった下流タスクにどの程度一般化できるか？
• RQ5 デフォルトのハイパーパrameterが性能に与える影響は何か？ 有限サンプルにおける密度の正確性と収束性のトレードオフにどのように影響するか？

主な発見

• 敵対的ランダムフォレストは、さまざまな表形式データベンチマークにおいて、最先端の確率的回路および深層学習モデルと同等またはそれ以上の性能を達成する。
• 平均して、深層学習ベースラインと比較して約100倍高速に実行され、リソース制約のある環境に適している。
• 最小限の仮定のもとで、証明可能な一貫性を有しており、十分なデータ量があれば真の密度に収束することが保証される。
• フォレストを確率的回路にコンパイルすることで、マージナル化や条件付き推論を含む正確かつ効率的な確率的推論が可能となる。
• デフォルトのハイパーパrameterで良好に動作し、小規模および大規模データセットの両方で強い性能を維持しながら、最小限のチューニングで済む。
• このアプローチは、個人レベルの情報を露呈させることなく統計的性質を保持する完全な合成データ生成を可能にし、実データ共有のプライバシー保護型代替手段を提供する。