[논문 리뷰] Mining Multi-Label Samples from Single Positive Labels

Youngin Cho, Daejin Kim외 2명|arXiv (Cornell University)|2022. 06. 12.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 단일 양성 레이블(각 샘플당 하나의 레이블만 제공됨)에서 고품질 다중 레이블 이미지를 생성할 수 있도록 하는 새로운 MCMC 기반 방법인 S2M 샘플링을 제안한다. 이는 비용이 많이 드는 다중 레이블 주석이 필요로 하지 않으며, 완전히 주석 처리된 데이터셋으로 훈련된 모델과 비교해도 성능이 유사하거나 이를 초월한다. 특히 다운스트림 분류 및 FID 지표에서 뛰어난 성능을 기록한다.

ABSTRACT

Conditional generative adversarial networks (cGANs) have shown superior results in class-conditional generation tasks. To simultaneously control multiple conditions, cGANs require multi-label training datasets, where multiple labels can be assigned to each data instance. Nevertheless, the tremendous annotation cost limits the accessibility of multi-label datasets in real-world scenarios. Therefore, in this study we explore the practical setting called the single positive setting, where each data instance is annotated by only one positive label with no explicit negative labels. To generate multi-label data in the single positive setting, we propose a novel sampling approach called single-to-multi-label (S2M) sampling, based on the Markov chain Monte Carlo method. As a widely applicable "add-on" method, our proposed S2M sampling method enables existing unconditional and conditional GANs to draw high-quality multi-label data with a minimal annotation cost. Extensive experiments on real image datasets verify the effectiveness and correctness of our method, even when compared to a model trained with fully annotated datasets.

연구 동기 및 목표

• 조건부 이미지 생성을 위한 다중 레이블 데이터셋을 생성하는 데 드는 높은 주석 비용을 해결하기 위해.
• 각 샘플당 단일 양성 레이블만 존재할 때 다중 레이블 데이터를 생성할 수 있도록 하기 위해.
• 겹치는 클래스와 겹치지 않는 클래스 모두에서 이미지 품질과 샘플 다양성을 유지하면서 생성하기 위해.
• 기존의 무조건적 및 조건부 GAN과 호환되는 즉시 사용 가능한 샘플링 프레임워크를 개발하기 위해.
• 명시적인 음성 레이블이나 복잡한 모델 재학습이 필요 없이 클래스 간 내재된 관계를 모델링하기 위해.

제안 방법

• 마르코프 체인 몬테카를로(MCMC)를 사용해 연합 클래스 분포에서 샘플링하는 단일-다중 레이블(S2M) 샘플링 프레임워크를 제안한다.
• 다중 분류 네트워크를 사용해 연합 클래스의 조건부 밀도를 추정하여 목표 분포를 근사한다.
• 생성기의 출력과 분류기 점수를 활용해 독립 메트로폴리스-해스팅스 알고리즘을 적용하여 연합 클래스 분포에서 샘플을 생성한다.
• 고차원 데이터 공간에서의 샘플 효율성과 수렴을 향상시키기 위해 잠재 공간 적응을 사용한다.
• 기존 GAN의 아키텍처와 목적을 유지하면서 추론 시점에 샘플링 프로세스를 통합한다.
• MCMC 수용 결정을 위한 $ p_t(x)/p_G(x) $의 계산이 가능한 밀도 비율 추정 방법을 제안한다.

실험 결과

연구 질문

• RQ1 명시적인 음성 레이블 없이 단일 양성 레이블 설정에서 다중 레이블 샘플을 효과적으로 생성할 수 있는가?
• RQ2 각 인스턴스당 하나의 양성 레이블만 존재할 때 겹치는 클래스와 겹치지 않는 클래스를 정확히 어떻게 샘플링할 수 있는가?
• RQ3 후처리 샘플링 방법이 완전히 주석 처리된 다중 레이블 데이터셋으로 훈련된 모델과 비교해 유사한 성능을 달성할 수 있는가?
• RQ4 제안된 S2M 샘플링 프레임워크는 고화질 이미지를 유지하면서 다양한 속성 조합의 생성을 가능하게 하는가?
• RQ5 최소한의 하이퍼파라미터 튜닝으로 다양한 데이터셋과 속성 조합에서 이 방법이 어떻게 스케일링되는가?

주요 결과

• S2M 샘플링은 CelebA-BBM에서 74.97%의 정확도를 기록했으며, CelebA-HBW에서는 70.94%를 기록했다. 이는 단일 레이블 설정에서 기준 모델인 StyleGANv2(18.41% 및 12.68%)를 크게 앞서는 성능이다.
• CelebA-BBM에서 FID 점수는 15.57에서 14.41로 향상되었고, CelebA-HBW에서는 15.80에서 14.54로 개선되어 더 높은 샘플 품질을 나타낸다.
• 정성적 결과에서는 복잡한 조합인 '갈색 머리카락, 두꺼운 눈썹, 약간 벌어진 입'과 같은 모든 연합 클래스에서 다양하고 현실적인 샘플이 생성됨을 확인할 수 있다.
• 이 방법은 단일 양성 레이블만으로도 겹치는 클래스(A ∩ B)와 겹치지 않는 클래스(A \\( B)) 모두에서 샘플을 성공적으로 생성한다.
• S2M 샘플링은 MNIST, CIFAR-10, CelebA 등 다양한 데이터셋에서 효과적이며, 아키텍처나 목적을 변경하지 않고 기존 GAN에 즉시 통합 가능한 솔루션으로 작동한다.
• 독립 메트로폴리스-해스팅스 변형은 안정성과 샘플 품질 면에서 거부 샘플링 및 랭지에인 동역학보다 뛰어나며, 특히 고차원 공간에서 두각을 나타낸다.