[논문 리뷰] Imbalanced Data Learning by Minority Class Augmentation using Capsule Adversarial Networks

Pourya Shamsolmoali, Masoumeh Zareapoor외 3명|arXiv (Cornell University)|2020. 04. 05.

Digital Media Forensic Detection참고 문헌 50인용 수 9

한 줄 요약

이 논문은 이미지 데이터셋의 클래스 불균형 문제를 해결하기 위해 디스커미네이터에 캡슐 네트워크를 통합한 새로운 생성적 적대적 네트워크인 CapsAN을 제안한다. 다변량 혼합 분포와 특징 매칭 손실을 활용하여, 다수 클래스 분포를 손상시키지 않은 채 다양하고 고품질의 少수 클래스 샘플을 생성하며, CNN 기반 GAN보다 파rameter 수가 적은 상태에서 클래스 불균형 이미지 분류 벤치마크에서 최고 성능을 기록한다.

ABSTRACT

The fact that image datasets are often imbalanced poses an intense challenge for deep learning techniques. In this paper, we propose a method to restore the balance in imbalanced images, by coalescing two concurrent methods, generative adversarial networks (GANs) and capsule network. In our model, generative and discriminative networks play a novel competitive game, in which the generator generates samples towards specific classes from multivariate probabilities distribution. The discriminator of our model is designed in a way that while recognizing the real and fake samples, it is also requires to assign classes to the inputs. Since GAN approaches require fully observed data during training, when the training samples are imbalanced, the approaches might generate similar samples which leading to data overfitting. This problem is addressed by providing all the available information from both the class components jointly in the adversarial training. It improves learning from imbalanced data by incorporating the majority distribution structure in the generation of new minority samples. Furthermore, the generator is trained with feature matching loss function to improve the training convergence. In addition, prevents generation of outliers and does not affect majority class space. The evaluations show the effectiveness of our proposed methodology; in particular, the coalescing of capsule-GAN is effective at recognizing highly overlapping classes with much fewer parameters compared with the convolutional-GAN.

연구 동기 및 목표

• 소수 클래스가 부족한 경우에 깊이 학습 성능이 저하되는 문제를 해결하기 위해.
• 데이터 불균형과 모드 붕괴로 인해 표준 GAN이 소수 클래스에 대해 현실적이며 다양한 샘플을 생성하는 데 한계를 가진 문제를 극복하기 위해.
• 기존의 CNN 대신 캡슐 네트워크를 통합함으로써 다중 클래스 설정에서 디스커미네이터의 강건성과 일반화 능력을 향상시키기 위해.
• 데이터 생성 과정에서 다수 클래스 분포의 무결성을 유지하여 과적합 또는 분포 이탈을 방지하기 위해.
• 특징 매칭 손실과 다변량 확률 분포를 활용하여 훈련을 안정화하고 샘플 품질을 향상시키는 훈련 메커니즘을 개발하기 위해.

제안 방법

• 제안된 CapsAN 프레임워크는 노이즈와 클래스 레이블을 입력으로 받아 다변량 혼합 분포에서 샘플링하여 소수 클래스 이미지를 생성하는 생성자(generator)를 사용한다.
• 디스커미네이터는 기존의 CNN가 아닌 캡슐 기반의 다중 클래스 분류기(Capsule-Discriminator, DC)로 재설계되어 알려진 클래스에 대응하는 여러 클러스터와 '가짜' 클래스를 출력함으로써 클래스 인식 능력을 향상시킨다.
• 생성자는 실재와 생성된 특징 표현 간의 L1 거리 차이를 최소화하는 특징 매칭 손실 함수를 사용하여 훈련되며, 이는 훈련을 안정화하고 이상치 생성을 방지한다.
• 모델은 적대적 훈련 중에 다수 클래스와 소수 클래스 데이터를 동시에 활용하여 생성자가 전체 데이터 분포의 구조를 올바르게 학습할 수 있도록 보장한다.
• 디스커미네이터 내 캡슐 네트워크는 CNN보다 계층적인 공간적 관계와 포즈 정보를 더 효과적으로 포착하여 특징 표현과 분류 정확도를 향상시킨다.
• 프레임워크는 생성자와 캡슐 기반 디스커미네이터 간의 피드백을 기반으로 종단 간(end-to-end)으로 적대적으로 훈련된다.

실험 결과

연구 질문

• RQ1 기존의 CNN 기반 디스커미네이터에 비해 캡슐 기반 디스커미네이터가 불균형 이미지 데이터셋에서 분류 성능을 향상시킬 수 있는가?
• RQ2 생성자에 다변량 혼합 분포를 통합함으로써 더 다양하고 현실적인 소수 클래스 샘플 생성이 가능해지는가?
• RQ3 특징 매칭 손실이 불균형 데이터로 훈련된 GAN의 훈련을 안정화하고 모드 붕괴를 줄일 수 있는가?
• RQ4 CapsAN은 소수 클래스 증강을 하면서 다수 클래스 분포를 어느 정도 유지하는가?
• RQ5 기존의 GAN 기반 및 비-GAN 기반 데이터 증강 방법에 비해 CapsAN은 성능과 파rameter 효율성 측면에서 어떻게 비교되는가?

주요 결과

• Data 4에서 CapsAN은 0.914의 최고 F1 점수를 기록하여 SMOTE(0.796), ADASYN(0.891), CRL(0.874) 등의 베이스라인을 앞서며 우수한 성능을 보였다.
• Data 5에서 CapsAN은 F1 점수 0.889를 기록하여 다음으로 우수한 방법인 ADASYN(0.889)을 초월했으며, 불균형 베이스라인(0.693)에 비해 뚜렷한 승리를 거두었다.
• Data 6에서 CapsAN은 F1 점수 0.845를 기록하여 SMOTE(0.661), ADASYN(0.795), CRL(0.819)를 모두 앞서는 성과를 보였다.
• Data 7에서 CapsAN은 F1 점수 0.823을 기록하여 불균형 베이스라인(0.618)과 ADASYN(0.765), CRL(0.784) 등 다른 베이스라인을 모두 압도했다.
• 모델는 유사한 컨volutional-GAN 모델들보다 훨씬 적은 파rameter로 매우 겹치는 클래스를 인식하는 데서도 뛰어난 성능을 보였다.
• 캡슐 기반 디스커미네이터는 출력 공간에 효과적으로 분리된 클러스터를 생성하여 소수 클래스에 대한 더 나은 분류 예측과 일반화 능력을 향상시켰다.