[논문 리뷰] Learning from Label Proportions with Generative Adversarial Networks

Jiabin Liu, Bo Wang외 3명|arXiv (Cornell University)|2019. 09. 05.

Model Reduction and Neural Networks인용 수 6

한 줄 요약

이 논문은 제한적인 분포 가정 없이 레이블 비율(LLL)에서 학습하는 데 사용할 수 있는 생성적 적대적 네트워크 프레임워크인 LLP-GAN을 제안한다. 진짜 인스턴스와 생성된 가짜 샘플을 모두 분류하는 디스커리미네이터를 활용한 적대적 훈련을 통해 LLP-GAN은 엔드 투 엔드로 강력한 인스턴스 수준 분류기를 학습하며, 낮은 계산 복잡도와 온건한 가정 하에 전역 최적성(global optimality)을 확보하면서 기준 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

In this paper, we leverage generative adversarial networks (GANs) to derive an effective algorithm LLP-GAN for learning from label proportions (LLP), where only the bag-level proportional information in labels is available. Endowed with end-to-end structure, LLP-GAN performs approximation in the light of an adversarial learning mechanism, without imposing restricted assumptions on distribution. Accordingly, we can directly induce the final instance-level classifier upon the discriminator. Under mild assumptions, we give the explicit generative representation and prove the global optimality for LLP-GAN. Additionally, compared with existing methods, our work empowers LLP solver with capable scalability inheriting from deep models. Several experiments on benchmark datasets demonstrate vivid advantages of the proposed approach.

연구 동기 및 목표

• 전체 인스턴스 레이블이 가용하지 않은, 백 수준의 레이블 비율만 제공되는 약한 지도 학습 환경에서 인스턴스 수준 분류기를 학습하는 문제를 해결하기 위해.
• 이전의 LLP 방법들이 겪는 문제점, 즉 엄격한 분포 가정과 NP-난해 최적화로 인한 확장성 문제를 극복하기 위해.
• 딥 네트워크의 표현 능력과 적대적 훈련을 활용하여 LLP 환경에서의 일반화 및 강인성 향상을 위해.
• 온건한 가정 하에 제안된 방법에 대한 이론적 보장을 확보하기 위해, 전역 최적성과 명시적인 생성 표현을 포함하여.
• 대규모 기준 데이터셋에서 기존 최신 기술 수준의 방법들과 비교해 확장성과 성능 향상을 입증하기 위해.

제안 방법

• LLP-GAN은 생성자(generator)가 가짜 샘플을 합성하여 디스커리미네이터(discriminator)가 진짜 인스턴스와 생성된 가짜 샘플을 구분하도록 하는 GAN 프레임워크를 활용한다.
• 디스커리미네이터는 진짜 인스턴스를 K개 클래스로 분류하고, 가짜 샘플을 (K+1)번째 클래스로 간주하여, 최종 분류기의 엔드 투 엔드 학습을 가능하게 한다.
• 디스커리미네이터 손실의 하한(lower bound)을 유도하여, 사전 클래스 비율과 사후 클래스 가능성 간의 관계를 분해 표현(decomposition representation)을 통해 연결한다.
• 생성자는 i.i.d. 백 가정 없이 적대적 훈련을 통해 데이터 분포를 학습하여 유연성과 일반화 능력을 향상시킨다.
• 프레임워크는 11개 클래스를 위한 소프트맥스로 과파rameter화된 분류기 헤드를 포함하며, 특징 정제를 위해 전역 평균 풀링과 1×1 컨볼루션을 사용한다.
• 모델은 명시적 변분 추론이나 가능성 최대화를 피하고, 생성자와 디스커리미네이터 간의 적대적 평형에 기반한다.

실험 결과

연구 질문

• RQ1 강한 분포 가정 없이 레이블 비율만으로 GAN 기반 프레임워크가 인스턴스 수준 분류기를 효과적으로 학습할 수 있는가?
• RQ2 LLP-GAN의 제안된 적대적 훈련 메커니즘이 LLP 환경에서 전역 최적성과 안정적 수렴을 어떻게 보장하는가?
• RQ3 디스커리미네이터 출력에서 사전 레이블 비율과 사후 클래스 가능성 간의 관계는 어떠한가?
• RQ4 대규모 데이터셋에서 기존의 딥 및 얕은 LLP 방법들과 비교해 LLP-GAN의 성능과 확장성은 어떠한가?
• RQ5 무작위 백 할당과 다양한 백 크기 하에서 제안된 방법이 얼마나 강인하게 유지되는가?

주요 결과

• LLP-GAN은 MNIST, CIFAR-10, SVHN, CIFAR-100에서 최신 기술 수준의 성능을 달성하며, 이진 분류에서 MNIST의 테스트 오차율이 최소 0.047%에 이를 정도로 낮다.
• CIFAR-10에서 LLP-GAN은 더 큰 백 크기 하에서 DLLP의 테스트 오차율 22.59%를 1.61%로 감소시켜 우수한 확장성과 강인성을 입증한다.
• 다양한 무작위 백 할당에 걸쳐 높은 안정성을 유지하며, MNIST에서 정확도가 랜덤라이제이션에 따라 오직 0.4% 범위(98.94%에서 96.65%) 내로 변동한다.
• 온건한 가정 하에 LLP-GAN은 전역 최적성을 확보하며, 사전 비율에 기반한 클래스 가능성의 이론적으로 탄탄한 분해 표현을 제공한다.
• DLLP에 엔트로피 정규화를 추가하는 것은 불필요하다는 것이 발견되었는데, 이는 DLLP가 이미 낮은 인스턴스 수준 엔트로피를 달성하고 있어 본질적으로 안정성을 지녔기 때문이다.
• 프레임워크는 낮은 계산 복잡도와 강력한 확장성을 보이며, NP-난해 최적화 문제로 어려움을 겪는 SVM 기반 방법들인 InvCal과 alter-∝ SVM을 뛰어넘는 성능을 보였다.