[논문 리뷰] Adversarial random forests for density estimation and generative modeling

David Watson, Kristin Blesch외 2명|arXiv (Cornell University)|2022. 05. 19.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 표본 데이터에서 밀도 추정 및 합성 데이터 생성을 위한 새로운 비지도 학습 방법인 적대적 랜덤 포레스트(ARFs)를 소개한다. 생성적 적대적 네트워크의 영감을 받아 ARFs는 번갈아가며 생성과 판별 피드백을 반복함으로써 밀도 추정을 향상시키며, 유사한 성능을 유지하거나 초월하면서도 딥러닝 모델 대비 최대 100배 빠른 추론 속도를 기록하고, 증명 가능한 일致성을 확보한다.

ABSTRACT

We propose methods for density estimation and data synthesis using a novel form of unsupervised random forests. Inspired by generative adversarial networks, we implement a recursive procedure in which trees gradually learn structural properties of the data through alternating rounds of generation and discrimination. The method is provably consistent under minimal assumptions. Unlike classic tree-based alternatives, our approach provides smooth (un)conditional densities and allows for fully synthetic data generation. We achieve comparable or superior performance to state-of-the-art probabilistic circuits and deep learning models on various tabular data benchmarks while executing about two orders of magnitude faster on average. An accompanying $ exttt{R}$ package, $ exttt{arf}$, is available on $ exttt{CRAN}$.

연구 동기 및 목표

• 혼합 연속형 및 이산형 특징을 가진 표본 데이터에서 공동 밀도 추정을 위한 빠르고 일致하며 해석 가능한 방법을 개발하는 것.
• 개인 정보를暴露하지 않고 통계적 성질을 유지하는 완전한 합성 데이터 생성을 가능하게 하는 것.
• 기존 트리 기반 모델의 한계를 극복하여 불연속적인 밀도를 생성하고 생성 능력이 없는 문제를 해결하는 것.
• 랜덤 포레스트의 효율성과 확률적 추론의 해석 가능성 간 격차를 메우기 위해 확률적 회로와 딥 생성 모델을 융합하는 것.
• 기본 초모수 설정으로도 잘 작동하고 최소한의 튜닝이 필요한 방법을 제공하는 것.

제안 방법

• 모델은 트리가 번갈아가며 합성 데이터를 생성하고, 이를 판별자가 개선함으로써 밀도 추정을 향상시키는 재귀적이고 적대적인 학습 절차를 사용한다.
• 각 트리는 리프 노드 내에서 부드러운 밀도 추정기(예: 커널 밀도 추정 또는 최대우도추정)를 피팅함으로써 국소적 밀도 구조를 학습한다.
• 최소한의 가정 하에 알고리즘이 증명 가능하게 일치함을 보장하며, 표본 수가 증가함에 따라 진짜 밀도로 수렴함을 보장한다.
• 결과적으로 생성된 숲은 정확하고 효율적인 추론이 가능한 확률적 회로로 컴파일될 수 있으며, 마진화 및 조건부 추론을 포함한다.
• 이 방법은 혼합 데이터 유형을 자연스럽게 처리하며, 무조건적 및 조건부 밀도 추정을 모두 지원한다.
• 이 방법은 CRAN에 공개된 R 패키지 arf로 구현되어 있으며, 파이썬 버전은 개발 중이다.

실험 결과

연구 질문

• RQ1 트리 기반 방법이 혼합 특성 유형을 가진 표본 데이터에 대해 부드럽고 일치하며 해석 가능한 밀도 추정을 달성할 수 있는가?
• RQ2 랜덤 포레스트에서의 적대적 학습이 광범위한 초모수 튜닝 없이도 고품질의 합성 데이터 생성을 가능하게 하는가?
• RQ3 속도, 정확도, 추론 효율성 측면에서 적대적 랜덤 포레스트는 최신 딥 생성 모델 및 확률적 회로와 비교해 어떻게 성능을 내는가?
• RQ4 ARFs는 이상 탐지, 군집, 분류와 같은 후속 작업에 얼마나 잘 일반화되는가?
• RQ5 기본 초모수 설정이 성능에 어떤 영향을 미치며, 유한 표본에서 밀도 정확도와 수렴 간의 상호 균형에 어떤 영향을 미치는가?

주요 결과

• 적대적 랜덤 포레스트는 다양한 표본 데이터 벤치마크에서 최신 확률적 회로 및 딥러닝 모델과 유사하거나 뛰어난 성능을 기록한다.
• 모델 평균적으로 딥러닝 기준선 대비 약 100배 더 빠른 실행 속도를 보이며, 자원 제약 환경에서도 적합하다.
• 최소한의 가정 하에 증명 가능한 일치성을 확보하여, 충분한 데이터가 있을 경우 진짜 밀도로 수렴함을 보장한다.
• 숲을 확률적 회로로 컴파일함으로써 정확하고 효율적인 확률적 추론(마진화 및 조건부 추론 포함)이 가능하다.
• 기본 초모수 설정으로도 잘 작동하며, 소규모 및 대규모 데이터셋 모두에서 높은 성능 유지를 유지하면서 최소한의 튜닝이 필요하다.
• 이 방법은 개인 수준의 정보를暴露하지 않고 통계적 성질을 유지하는 완전한 합성 데이터 생성을 가능하게 하여, 실제 데이터 공유의 개인정보 보호 대안을 제공한다.