[논문 리뷰] Invertible Tabular GANs: Killing Two Birds with OneStone for Tabular Data Synthesis

Jaehoon Lee, Jihyeon Hyeong외 3명|arXiv (Cornell University)|2022. 02. 08.

Adversarial Robustness in Machine Learning인용 수 10

한 줄 요약

이 논문은 신경 미분방정식(Neural ODEs) 기반의 역가능한 신경망을 활용해 적대적 훈련과 음의 로그 밀도 정규화를 통합하는 일반화된 GAN 프레임워크인 Invertible Tabular GANs(IT-GAN)를 제안한다. 훈련 중 음의 로그 밀도를 제어함으로써 IT-GAN은 밀도 최소화를 통한 합성 품질 향상과 밀도 최대화를 통한 프라이버시 보호를 동시에 달성하며, 여섯 개인 실세계 테이블 데이터셋에서 생성 품질과 프라이버시 공격에 대한 강건성 측면에서 기존의 기준 모델들을 능가한다.

ABSTRACT

Tabular data synthesis has received wide attention in the literature. This is because available data is often limited, incomplete, or cannot be obtained easily, and data privacy is becoming increasingly important. In this work, we present a generalized GAN framework for tabular synthesis, which combines the adversarial training of GANs and the negative log-density regularization of invertible neural networks. The proposed framework can be used for two distinctive objectives. First, we can further improve the synthesis quality, by decreasing the negative log-density of real records in the process of adversarial training. On the other hand, by increasing the negative log-density of real records, realistic fake records can be synthesized in a way that they are not too much close to real records and reduce the chance of potential information leakage. We conduct experiments with real-world datasets for classification, regression, and privacy attacks. In general, the proposed method demonstrates the best synthesis quality (in terms of task-oriented evaluation metrics, e.g., F1) when decreasing the negative log-density during the adversarial training. If increasing the negative log-density, our experimental results show that the distance between real and fake records increases, enhancing robustness against privacy attacks.

연구 동기 및 목표

• 데이터 공유 시 고해상도 테이블 데이터 합성과 프라이버시 보호의 이중 과제를 해결하기 위해.
• 표준 GAN이 현실성 강조에 치중하면서 정보 泄露 위험을 수반하는 한계를 극복하기 위해.
• 제어 가능한 로그 밀도 정규화를 통해 합성 품질과 프라이버시 강건성 간의 트레이드오프를 허용하는 통합 프레임워크를 개발하기 위해.
• 자기부호화기(autoencoders)를 역가능한 생성기와 통합함으로써 고차원 테이블 데이터에서 일반화 능력과 훈련 안정성을 향상시키기 위해.
• 분류, 회귀, 프라이버시 공격 시나리오를 포함한 다양한 테이블 데이터셋에서 프레임워크의 효과성을 실증적으로 검증하기 위해.

제안 방법

• 생성기는 역가능한 커파링 레이어를 갖춘 신경 미분방정식(Neural ODEs) 기반으로, 허친슨 추정기를 사용한 편향 없는 자코비안 행렬식 추정을 통해 정확한 우도 추정이 가능하다.
• 프레임워크는 음의 로그 밀도 정규화 항을 도입하여, 이는 합성 품질 향상을 위해 최소화하거나 프라이버시 보호를 위해 최대화할 수 있다.
• 고차원 테이블 데이터를 낮은 차원의 잠재 공간으로 투영하기 위해 자기부호화기(AE)를 사용하며, 이는 역가능한 생성기의 유지를 위해 유지를 유지하면서 분리 학습을 가능하게 한다.
• 일괄 훈련 파이프라인은 GAN 적대적 손실, AE 재구성 손실, 음의 로그 밀도 정규화를 통합하여 종단 간 최적화된다.
• 두 가지 변형이 도입되었으며, IT-GAN(Q)는 로그 밀도를 최소화해 더 나은 합성 품질을 달성하고, IT-GAN(L)은 이를 최대화해 더 높은 프라이버시 강건성을 확보한다.
• 로그 밀도 정규화의 강도를 제어하는 하이퍼파라미터 γ를 사용하여 세밀한 트레이드오프를 가능하게 한다.

실험 결과

연구 질문

• RQ1 역가능한 GAN 프레임워크 내 음의 로그 밀도 정규화가 테이블 데이터 생성에서 합성 품질 향상과 프라이버시 보호 향상에 기여하는가?
• RQ2 훈련 중 음의 로그 밀도를 제어할 경우, 실제 데이터와 가짜 데이터 간의 분포 유사도에 어떤 영향을 미치는가?
• RQ3 제안된 방법이 합성된 테이블 데이터에 대한 전면 블랙박스 프라이버시 공격의 성공률을 어느 정도 감소시킬 수 있는가?
• RQ4 자기부호화기와 역가능한 생성기를 통합함으로써 고차원 테이블 데이터에서 훈련 안정성과 성능 향상이 어떻게 달성되는가?
• RQ5 잠재 차원과 정규화 강도와 같은 하이퍼파라미터의 최적 설정은 품질과 프라이버시를 균형 잡는 데 어떤가?

주요 결과

• 음의 로그 밀도를 최소화하는 IT-GAN(Q)는 Adult, Census, Credit, Cabs, King 데이터셋에서 모든 기준 모델들을 능가하는 F1 스코어를 기록하며 최고의 임무 중심 성능을 달성했다.
• 음의 로그 밀도를 최대화하는 IT-GAN(L)은 전면 블랙박스 프라이버시 공격의 성공률을 감소시켜, Adult 데이터셋에서 모든 방법 중 가장 낮은 ROCAUC(0.599±0.016)를 기록했다.
• News 데이터셋에서는 γ = -0.011일 때 IT-GAN(L)이 공격 성공 스코어 0.752 ROCAUC를 기록하며 강력한 프라이버시 강건성을 입증했다.
• IT-GAN(L)의 실제-가짜 거리 분포는 실제 데이터로부터 상당히 분리되어 있음을 보여, 재식별 위험 감소를 확인했다.
• 민감도 분석 결과, γ = 0.01과 잠재 차원 dim(h) = 128 조합이 여러 지표에서 최적 성능을 보였으며, 대부분의 경우 dim(h) = 128에서 가장 우수한 결과를 얻었다.
• Census와 Credit과 같은 다중 클래스 및 불균형 데이터셋에서는 모든 생성 모델(포함해 IT-GAN)이 여전히 실제 데이터에 비해 성능이 열등하여 이러한 환경에서의 도전 과제가 지속됨을 시사했다.