[논문 리뷰] Correlated discrete data generation using adversarial training

Shreyas Patel, Ashutosh Kakadiya외 4명|arXiv (Cornell University)|2018. 04. 03.

Generative Adversarial Networks and Image Synthesis참고 문헌 14인용 수 12

한 줄 요약

이 논문은 기능 간 종속성을 모델링함으로써 기술 집합과 같은 실재성 있고 상관관계가 있는 이산 데이터를 생성하기 위해 상관관계 신경망을 활용하는 CorrGAN을 제안한다. 기존 기준 모델인 medGAN에 비해 연합 기술 공존 패턴을 더 잘 유지하여 기술 확률 분포의 평균 제곱 오차가 33% 낮아졌으며, 학습 에포크 동안 상관관계 일致성도 향상되었다.

ABSTRACT

Generative Adversarial Networks (GAN) have shown great promise in tasks like synthetic image generation, image inpainting, style transfer, and anomaly detection. However, generating discrete data is a challenge. This work presents an adversarial training based correlated discrete data (CDD) generation model. It also details an approach for conditional CDD generation. The results of our approach are presented over two datasets; job-seeking candidates skill set (private dataset) and MNIST (public dataset). From quantitative and qualitative analysis of these results, we show that our model performs better as it leverages inherent correlation in the data, than an existing model that overlooks correlation.

연구 동기 및 목표

• 기존 모델이 기능 간 종속성을 포착하지 못하는 바쁜 직업 지원자 기술 집합과 같은 실재성 있고 상관관계가 있는 이산 데이터 생성 과제를 해결하기 위해.
• 직업 또는 기존 기술에 조건부로 기술 벡터를 생성하는 조건부 생성 모델을 개발하여 직업 상담 응용 분야에 활용하기 위해.
• 기본적으로 독립적으로 간주하는 대신 이산 기능 간 내재된 상관관계를 모델링하여 합성 데이터 품질을 향상시키기 위해.
• 실제 및 벤치마크 데이터셋에서의 실세계 데이터를 대상으로 정량적 지표(MSE, 상관관계)와 정성적 분석을 모두 활용하여 성능 평가하기 위해.
• 고도로 제한된 데이터 또는 개인정보 보호 제약이 있는 분야, 예를 들어 고용 서비스 및 헬스케어 분야에서의 데이터 증강을 가능하게 하기 위해.

제안 방법

• 최소 최대 최적화를 사용하여 직업 벡터에 조건부로 기술 벡터를 생성하는 조건부 GAN 프레임워크를 사용하며, 생성자는 이를 학습한다.
• 기본 기술 집합 내 기술 간 상관관계를 명시적으로 모델링하고 유지하기 위해 상관관계 신경망(CNR)을 적용한다.
• 실제 데이터와 구분하여 생성된 기술 벡터의 현실성을 평가하기 위해 디스criminator를 사용하며, 프로파일링을 위해 조건부 입력(y)을 활용한다.
• 기본적으로 기술의 연합 공존 패턴을 유지하는 데 중점을 두고, 적대적 손실을 사용하여 생성자와 디스criminator를 동시에 훈련한다.
• 원본 데이터와 생성된 데이터 간의 상관관계 정밀도를 정량화하기 위해 공존 행렬 기반 평가 지표를 사용한다.
• 1400 에포크와 임계값 기반 정규화를 사용하여 기술 상관관계 행렬을 계산하는 수정된 훈련 파이프라인을 구현한다.

실험 결과

연구 질문

• RQ1 GAN 기반 모델은 기술 집합과 같은 상관관계가 있는 이산 데이터를 효과적으로 생성할 수 있으며, 동시에 기능 간 연관성을 유지할 수 있는가?
• RQ2 상관관계 신경망을 통합함으로써 기능 상관관계를 忽시하는 모델에 비해 생성된 이산 데이터의 품질은 얼마나 향상되는가?
• RQ3 기존 모델인 medGAN에 비해 제안된 모델은 실제 기술 분포의 통계적 성질을 얼마나 잘 재현하는가?
• RQ4 조건부 생성 기능은 현재 기술과 목표 직업을 기반으로 기술 업그레이드를 제안하는 등 의미 있는 직업 상담 응용 분야를 가능하게 하는가?
• RQ5 학습 에포크 동안 학습된 상관관계 구조는 얼마나 안정적이고 일관된가?

주요 결과

• CorrGAN은 기술 확률 분포 일치에서 평균 제곱 오차(MSE) 5.049×10⁻⁵를 달성하여 medGAN의 MSE 7.567×10⁻⁵ 대비 33% 향상된 성능을 보였다.
• 학습이 진행됨에 따라 생성된 데이터와 원본 데이터 간의 기술 공존 행렬 상관관계가 점차 향상되었으며, 1400 에포크 동안 상관관계 지표가 증가했다.
• 감각 평가 결과, MNIST 기반 모델에서 생성된 이미지의 69%가 SVM에 의해 정확하게 분류되었으며, 이는 높은 현실성의 가능성을 시사한다.
• 확률 산점도에서 이상적인 y=x 선과의 편차가 낮아지면서, 모델이 기술 간 연합 기능 종속성을 효과적으로 유지함을 입증하였다.
• 상관관계 신경망의 사용은 이산 데이터 내 복잡한 기술 간 상호관계를 포착하고 재현하는 데 모델의 능력을 크게 향상시켰다.
• 모델은 테스트된 데이터셋을 초월해 일반화되며, 교육, 지역, 조직과 같은 추가 프로필 속성에 조건부로 적용 가능하게 확장될 수 있다.