[논문 리뷰] Deep multi-class learning from label proportions

Gabriel Dulac-Arnold, Neil Zeghidour외 3명|arXiv (Cornell University)|2019. 05. 30.

Machine Learning and Data Classification참고 문헌 33인용 수 13

한 줄 요약

이 논문은 개별 레이블 대신 레이블 비율을 사용하여 다중 클래스 이미지 분류를 위한 딥 러닝 프레임워크를 제안한다. 교차 엔트로피와 정규화된 최적 운반 이론 기반의 미분 가능 손실 함수를 사용해 엔드 투 엔드로 훈련한다. 이 방법은 CIFAR-10과 CIFAR-100에서 최대 16개의 샘플을 포함하는 백에 대해서도 강건한 성능을 보이며, 최적 운반 이론 기반의 손실이 큰 백에 대해 더 뛰어난 강건성을 보인다.

ABSTRACT

We propose a learning algorithm capable of learning from label proportions instead of direct data labels. In this scenario, our data are arranged into various bags of a certain size, and only the proportions of each label within a given bag are known. This is a common situation in cases where per-data labeling is lengthy, but a more general label is easily accessible. Several approaches have been proposed to learn in this setting with linear models in the multiclass setting, or with nonlinear models in the binary classification setting. Here we investigate the more general nonlinear multiclass setting, and compare two differentiable loss functions to train end-to-end deep neural networks from bags with label proportions. We illustrate the relevance of our methods on an image classification benchmark, and demonstrate the possibility to learn accurate image classifiers from bags of images.

연구 동기 및 목표

• 개별 인스턴스 레이블 대신 각 백당 레이블 비율만 제공되는 환경에서 딥 네ural 네트워크를 훈련하는 데 도전하는 것.
• 이전에 선형 모델이나 이진 분류에 국한되었던 기존의 LLP 방법을 일반적인 비선형 다중 클래스 딥 러닝 환경으로 확장하는 것.
• 백 수준 레이블 비율 제약 조건 하에서 딥 네트워크의 엔드 투 엔드 훈련을 가능하게 하는 다양한 미분 가능 손실 함수를 개발하고 비교하는 것.
• 의료 영상이나 개인정보 보호를 고려한 데이터와 같은 실제 응용 시나리오에서 집계된 레이블 통계치로부터 이미지 분류기 학습의 가능성과 정확성을 입증하는 것.

제안 방법

• 백 수준 제약 조건을 통해 역전파가 가능한 교차 엔트로피 손실의 미분 가능 근사화를 제안하여 레이블 비율 학습에 활용한다.
• 개별 샘플을 클래스에 할당하는 것을 모델링하면서도 백 수준 레이블 비율을 유지하는 새로운 정규화된 최적 운반 이론(ROT) 손실을 도입한다.
• 비용 행렬, 엔트로피 정규화, 목표 비율에 대한 KL 발산을 포함하는 사다리형 문제로 최적화 문제를 공식화한다.
• 공유된 특징 표현을 사용해 백 내 모든 샘플에 대해 딥 네트워크를 엔드 투 엔드로 훈련하며, 표준 교차 엔트로피 근사화 또는 ROT 손실을 사용한다.
• 라그랑주 이중 형식을 적용하여 레이블 할당 행렬에 대한 닫힌 형태의 갱신을 유도하여, 미분 가능한 최적화를 가능하게 한다.
• 레이블 비율 제약 조건 하에서 다양한 크기의 백을 사용하여 CIFAR-10 및 CIFAR-100 이미지 분류 벤치마크에 이 방법을 적용하고, 레이블 모호성에 대한 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 레이블 비율만 백 단위로 제공될 때, 다중 클래스 설정에서 딥 네트워크를 효과적으로 훈련시킬 수 있는가?
• RQ2 특히 교차 엔트로피 근사화와 정규화된 최적 운반 이론 기반의 다양한 백 수준 손실 간 성능 및 강건성은 어떻게 비교되는가?
• RQ3 레이블 비율에서 학습할 경우 백 크기가 모델 정확도에 어떤 영향을 미치는가?
• RQ4 훈련 중에 개별 샘플 레이블을 동시에 추정하는 것이 표준 백 수준 모델링 대비 성능 향상에 기여하는가?
• RQ5 레이블 비율 제약 조건 하에서 복잡한 실제 벤치마크인 CIFAR-10과 CIFAR-100에서 모델의 성능은 어떠한가?

주요 결과

• 개별 레이블 기반 교차 엔트로피 손실을 사용하는 기준 방법은 LLP 환경에서 성능이 열악하여 백 수준 정규화의 필요성을 확인한다.
• 정규화된 최적 운반 이론 기반 ROT 손실은 특히 큰 백(512 및 1024개 샘플)에서 교차 엔트로피 근사화를 항상 초월하거나 유사하게 성능을 내며, 더 뛰어난 강건성을 보인다.
• 백 크기가 16를 초과하면 모델 정확도가 급격히 떨어지며, 1024개 샘플에서는 우연 수준에 가까워져 신뢰할 수 있는 학습의 실질적 한계를 보여준다.
• 이론적 복잡성에도 불구하고 더 단순한 KL 기반 손실이 더 정교한 ROT 손실과 거의 유사한 성능을 보이며, 공동 레이블 추정이 항상 성능 향상에 기여하지는 않음을 시사한다.
• CIFAR-10과 CIFAR-100 간의 정확도 대 백 크기 곡선이 놀랍게 유사하여, 이들 모델의 전환점은 데이터셋의 난이도보다 모델 아키텍처와 훈련 설정에 더 의존함을 나타낸다.
• 이 방법은 레이블 비율에서 정확한 이미지 분류기를 성공적으로 훈련시켜, 개별 레이블링이 비용이 많이 들거나 불가능한 의료 영상과 같은 분야에서의 적용 가능성을 입증한다.