[논문 리뷰] Provably Consistent Partial-Label Learning

Lei Feng, Jiaqi Lv외 6명|arXiv (Cornell University)|2020. 07. 17.

Text and Document Classification Technologies참고 문헌 78인용 수 53

한 줄 요약

이 논문은 부분 라벨 데이터용 생성 모델과 심층 네트워크와 함께 작동하는 두 가지 provably consistent PLL 방법(위험-일관성 및 분류기-일관성), 추정 오차 한계 및 경험적 검증을 제시한다.

ABSTRACT

Partial-label learning (PLL) is a multi-class classification problem, where each training example is associated with a set of candidate labels. Even though many practical PLL methods have been proposed in the last two decades, there lacks a theoretical understanding of the consistency of those methods-none of the PLL methods hitherto possesses a generation process of candidate label sets, and then it is still unclear why such a method works on a specific dataset and when it may fail given a different dataset. In this paper, we propose the first generation model of candidate label sets, and develop two novel PLL methods that are guaranteed to be provably consistent, i.e., one is risk-consistent and the other is classifier-consistent. Our methods are advantageous, since they are compatible with any deep network or stochastic optimizer. Furthermore, thanks to the generation model, we would be able to answer the two questions above by testing if the generation model matches given candidate label sets. Experiments on benchmark and real-world datasets validate the effectiveness of the proposed generation model and two PLL methods.

연구 동기 및 목표

• PLL을 얻기 어려운 정확한 라벨의 실용적 난이도와 이론적 보장의 필요성에 의해 동기를 부여한다.
• 후보 집합에 올바른 라벨이 항상 포함되도록 부분 라벨 데이터용 데이터 생성 모델을 제시한다.
• 공식적 일관성 보장을 갖춘 두 PLL 방법(위험-일관성과 분류기-일관성)을 개발한다.
• 실험적 위험 추정 한계와 진짜 위험 최소화기의 수렴을 보여준다.
• 벤치마크 및 실제 PLL 데이터셋에서 방법을 경험적으로 검증한다.

제안 방법

• 진실한 라벨(y=i)이 항상 포함되도록 후보 라벨 집합을 생성하는 확률 모델을 정의한다(Eq. 5).
• 중요도 재가중을 이용한 위험-일관 PLL 방법을 도출하고(Eq. 8–9), 교차 엔트로피 손실(Eq. 9)로 구현한다.
• 전이 행렬 Q와 위험 추정기를 사용한 분류기-일관 PLL 방법을 도출한다(Eq. 11–12).
• RC(Theorem 4)와 CC(Theorem 6)에 대한 추정 오차 경계를 제공한다.
• 딥 모델에서 더 촘촘한 경계와 신뢰도 추정으로 인해 RC가 CC보다 더 나은 성능을 보이는 경향을 보인다.
• 현대 네트워크와의 호환성을 위해 방법들이 모델- 및 최적화기-무관하도록 보장한다.

실험 결과

연구 질문

• RQ1 부분 라벨 데이터에 대한 명시적 데이터 생성 프로세스를 정의하여 PLL 가정이 성립하는지 보장할 수 있는가?
• RQ2 이 생성 모델 하에서 위험-일관 및 분류기-일관 보장을 provably 가능하도록 PLL 방법을 설계할 수 있는가?
• RQ3 제안된 방법들의 추정 오차 경계와 수렴 특성은 어떠한가?
• RQ4 벤치마크 및 실제 PLL 데이터셋에서 제안된 방법의 성능은 어떠하며 모델 복잡도가 성능에 어떤 영향을 미치는가?

주요 결과

Dataset	RC (test %)	CC (test %)	GA (test %)	NN (test %)	Free (test %)	PC (test %)	Forward (test %)	EXP (test %)	LOG (test %)	MAE (test %)	MSE (test %)	GCE (test %)	Phuber-CE (test %)
MNIST	98.00 ± 0.11	97.87 ± 0.10	96.37 ± 0.13	96.75 ± 0.08	88.48 ± 0.37	92.47 ± 0.13	97.64 ± 0.11	97.81 ± 0.04	97.86 ± 0.11	97.82 ± 0.11	96.95 ± 0.14	96.71 ± 0.08	95.10 ± 0.34
Kuzushiji-MNIST	89.38 ± 0.28	88.83 ± 0.40	84.23 ± 0.19	82.36 ± 0.41	70.31 ± 0.68	73.45 ± 0.20	87.64 ± 0.13	88.48 ± 0.29	88.24 ± 0.08	88.43 ± 0.32	85.16 ± 0.44	85.19 ± 0.39	80.66 ± 0.41
Fashion-MNIST	88.38 ± 0.16	87.88 ± 0.25	85.57 ± 0.16	86.25 ± 0.14	81.34 ± 0.47	83.37 ± 0.31	86.73 ± 0.15	87.96 ± 0.06	88.31 ± 0.26	87.83 ± 0.22	85.72 ± 0.26	86.88 ± 0.16	85.33 ± 0.23
CIFAR-10	77.93 ± 0.59	75.78 ± 0.27	72.22 ± 0.19	68.09 ± 0.31	17.74 ± 1.20	46.53 ± 2.01	71.18 ± 0.92	73.22 ± 0.66	75.38 ± 0.34	66.91 ± 3.08	66.15 ± 2.13	72.22 ± 0.19	58.60 ± 0.95

• 두 가지 provably consistent PLL 방법이 제안되었다: 위험-일관성 방법(RC)과 분류기-일관성 방법(CC).
• RC는 CC보다 더 촘촘한 추정 오차 경계를 제공하고 실제로 심층 네트워크에서 더 우수한 성능을 보인다.
• 부분 라벨에 대한 명시적 데이터 생성 모델은 올바른 라벨이 후보 집합에 위치한다는 PLL 핵심 가정(정리 1–2)을 만족시키는 것으로 나타난다.
• RC는 중요도 재가중을 사용하며 p(y=i|x)를 소프트맥스 출력으로 근사하고 비-후보 라벨은 0으로 만든다(Eq. 10).
• CC는 일반 라벨과 후보-라벨 사이의 관계를 나타내는 전이 행렬 Q를 사용하고 편향되지 않은 분류기-일관 추정치를 얻는다(정리 5–6).
• MNIST, Kuzushiji-MNIST, Fashion-MNIST, CIFAR-10 및 실제 PLL 데이터셋에서 신경망 및 선형 모델 전반에 걸친 효율성을 검증한다.