[논문 리뷰] HexaGAN: Generative Adversarial Nets for Real World Classification

Uiwon Hwang, Dahuin Jung외 1명|arXiv (Cornell University)|2019. 02. 26.

Machine Learning and Data Classification인용 수 14

한 줄 요약

HexaGAN은 실세계 분류 문제에서 결손 데이터 보정, 클래스 불균형, 결손 레이블 문제를 동시에 해결하기 위해 결손 정보 복원의 관점에서 이 세 가지 문제를 통합적으로 다루는 새로운 생성적 적대적 신경망 프레임워크이다. 맞춤형 손실 함수를 갖춘 6개의 전문화된 GAN 구성 요소를 통합하여, 결손 데이터 보정에서 최대 14% 향상, 20% 이하의 결손률 조건에서 연쇄적 SOTA 방법 대비 최대 5% 높은 F1 점수를 달성하며 최첨단 성능을 확보하였다.

ABSTRACT

Most deep learning classification studies assume clean data. However, when dealing with the real world data, we encounter three problems such as 1) missing data, 2) class imbalance, and 3) missing label problems. These problems undermine the performance of a classifier. Various preprocessing techniques have been proposed to mitigate one of these problems, but an algorithm that assumes and resolves all three problems together has not been proposed yet. In this paper, we propose HexaGAN, a generative adversarial network framework that shows promising classification performance for all three problems. We interpret the three problems from a single perspective to solve them jointly. To enable this, the framework consists of six components, which interact with each other. We also devise novel loss functions corresponding to the architecture. The designed loss functions allow us to achieve state-of-the-art imputation performance, with up to a 14% improvement, and to generate high-quality class-conditional data. We evaluate the classification performance (F1-score) of the proposed method with 20% missingness and confirm up to a 5% improvement in comparison with the performance of combinations of state-of-the-art methods.

연구 동기 및 목표

• 실세계 분류에서 발생하는 세 가지 주요 과제—결손 데이터, 클래스 불균형, 결손 레이블—을 별도로 다루는 기존 방법들과는 달리 동시에 해결한다.
• 오류 전파 및 최적화되지 않은 데이터 처리로 성능 저하가 발생하는 연쇄적 사전처리 파이프라인의 한계를 극복한다.
• 모든 세 가지 문제를 동일한 관점—결손 정보 복원—에서 모델링하는 통합된 딥 생성 프레임워크를 개발한다.
• 특히 데이터가 적은 환경에서 고품질의 클래스 조건부 데이터 생성과 강력한 보정 성능을 확보한다.
• 엔드 투 엔드 학습이 가능한 시스템에서 생성 모델링과 판별 분류를 통합함으로써 최첨단 분류 성능을 달성한다.

제안 방법

• HexaGAN은 6개의 신경망을 활용한다: 두 개의 생성자(G_MI는 보정을 위한 것이고, G_CG는 클래스 조건부 생성을 위한 것), 두 개의 판별자(D_MI는 결손 데이터를 위한 것이고, D_CG는 조건부 생성을 위한 것), 그리고 두 개의 분류기(C는 레이블 예측을 위한 것이고, C'은 일관성을 위한 것).
• 이 프레임워크는 통합된 관점에서 작동한다: 결손 기능, 클래스 불균형, 결손 레이블이라는 세 가지 문제 모두 결손 정보를 복원해야 한다는 공통의 관점에서 다뤄진다.
• 새로운 손실 함수를 설계하였다: 복원 손실(R), 적대적 손실(D_x_i 및 D_y), 교차 엔트로피(CE)로, 모든 구성 요소 간의 공동 최적화를 가능하게 한다.
• 결손 데이터 보정은 G_MI를 통해 수행되며, 노이즈와 함께 마스킹된 특징을 채워넣고 전체 데이터 분포를 학습한다.
• 조건부 생성(G_CG)은 클래스 레이블을 조건으로 삼아 완전한 데이터 인스턴스를 생성함으로써 소수 클래스를 효과적으로 오버샘플링한다.
• D_MI와 C를 통한 준지도 학습을 통해, 비라벨 데이터를 활용해 결손 레이블을 예측함으로써 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 단일 생성 프레임워크가 실세계 분류 문제에서 결손 데이터 보정, 클래스 불균형, 결손 레이블 문제를 동시에 해결할 수 있는가?
• RQ2 모든 세 가지 문제를 결손 정보 복원으로 모델링함으로써, 연쇄적 SOTA 방법 대비 보정 및 분류 성능 향상은 어느 정도 이루어지는가?
• RQ3 특히 데이터가 희소한 상황에서, 높은 결손률 조건에서도 HexaGAN의 성능 유지 능력은 어느 정도인가?
• RQ4 적대적 학습을 통한 조건부 생성과 레이블 예측의 통합이 고립된 사전처리 단계보다 더 나은 일반화 성능을 이끌어내는가?
• RQ5 맞춤형 손실 함수가 데이터 보정 및 후속 분류 성능 향상에 기여하는 방식은 무엇인가?

주요 결과

• HexaGAN은 최첨단 방법 대비 최대 14% 향상된 보정 성능을 달성하여 뛰어난 데이터 복원 품질을 입증하였다.
• 20% 이하의 결손률 조건에서, GAIN, SMOTE, TripleGAN 등의 SOTA 방법을 연쇄적으로 조합한 방법 대비 HexaGAN이 F1 점수를 최대 5% 향상시켰다.
• 제거 실험 결과, G_MI, G_CG, D_MI의 세 구성 요소 모두 유의미한 기여를 하며, 이들를 제거할 경우 성능이 최대 36% 하락함을 확인하였다.
• 신용 데이터셋에서 모든 결손률 조건에서 벤치마크를 초월하였으며, 특히 높은 결손률(예: 50%) 조건에서 성능 격차가 더 크게 나타나 강건성을 입증하였다.
• 불균형 데이터셋(예: 신용, 유방)과 균형 잡힌 데이터셋(예: madelon) 모두에서 뛰어난 성능 유지를 보이며 다양한 데이터 분포에 대한 일반화 능력을 입증하였다.
• 이 프레임워크는 어떤 최첨단 분류기와도 플러그 앤 플레이 호환 가능하며, HexaGAN과 통합될 경우 최고의 성능을 발휘한다.