[논문 리뷰] Learning with Biased Complementary Labels

Xiyu Yu, Tongliang Liu외 2명|arXiv (Cornell University)|2017. 11. 27.

Machine Learning and Data Classification참고 문헌 22인용 수 8

한 줄 요약

이 논문은 진짜 레이블과 보조 레이블 간의 비균일 전이 확률을 모델링함으로써 편향된 보조 레이블(즉, 잘못된 것으로 생각되는 클래스를 잘못 레이블링하는 것)을 가진 학습을 위한 새로운 프레임워크를 제안한다. 이는 명확하고 쉽게 식별 가능한 예시를 통해 편향 없이 전이 확률을 추정하고, 표준 손실 함수를 편향을 고려해 수정하며, 이론적으로 최적의 분류기로의 수렴을 보장한다. 이로 인해 기준 데이터셋에서 최신 기법들보다 10퍼센트 이상의 정확도 향상을 달성한다.

ABSTRACT

In this paper, we study the classification problem in which we have access to easily obtainable surrogate for true labels, namely complementary labels, which specify classes that observations do extbf{not} belong to. Let $Y$ and $\bar{Y}$ be the true and complementary labels, respectively. We first model the annotation of complementary labels via transition probabilities $P(\bar{Y}=i|Y=j), i eq j\in\{1,\cdots,c\}$, where $c$ is the number of classes. Previous methods implicitly assume that $P(\bar{Y}=i|Y=j), \forall i eq j$, are identical, which is not true in practice because humans are biased toward their own experience. For example, as shown in Figure 1, if an annotator is more familiar with monkeys than prairie dogs when providing complementary labels for meerkats, she is more likely to employ "monkey" as a complementary label. We therefore reason that the transition probabilities will be different. In this paper, we propose a framework that contributes three main innovations to learning with extbf{biased} complementary labels: (1) It estimates transition probabilities with no bias. (2) It provides a general method to modify traditional loss functions and extends standard deep neural network classifiers to learn with biased complementary labels. (3) It theoretically ensures that the classifier learned with complementary labels converges to the optimal one learned with true labels. Comprehensive experiments on several benchmark datasets validate the superiority of our method to current state-of-the-art methods.

연구 동기 및 목표

• 기존 방법들이 보조 레이블 선택이 균일하다고 가정하는 한계를 해결하기 위해.
• 각 클래스별로 쉽게 식별 가능한 명확한 예시를 사용하여, 진짜 레이블과 보조 레이블 간의 전이 확률 $ P(\bar{Y}=i|Y=j) $ 를 편향 없이 모델링하고 추정하기 위해.
• 표준 딥 네트워크 손실 함수를 편향된 보조 레이블 학습에 적응시킬 수 있는 일반적인 방법을 개발하기 위해.
• 제안된 프레임워크 하에 보조 레이블로 학습한 분류기가 진짜 레이블로 학습한 최적의 분류기로 수렴함을 이론적으로 증명하기 위해.
• 다양한 기준 데이터셋에서 최신 기법들과의 비교를 통해 제안 방법의 우수성을 실증적으로 검증하기 위해.

제안 방법

• 보조 레이블의 표본화 과정을 클래스 조건부 전이 확률 $ P(\bar{Y}=i|Y=j) $ 를 통해 모델링하며, 인간의 편향으로 인해 실질적으로 비균일한 경우가 많다.
• 각 클래스 $ j $ 에 대해 $ P(Y=j|\mathbf{x}_j) = 1 $ 인 높은 신뢰도의 명확한 예시 $ \mathbf{x}_j $ 를 활용하여 $ P(\bar{Y}=i|Y=j) $ 를 편향 없이 추정한다.
• 보조 레이블이 부여된 데이터로부터 전이 확률을 추정하기 위해 $ P(\bar{Y}=i|Y=j) = P(\bar{Y}=i|\mathbf{x}_j) $ 라는 항등식을 사용한다.
• 추정된 전이 확률을 통합하여 표준 크로스 엔트로피 손실 함수를 수정함으로써 편향된 보조 레이블로도 효과적인 학습이 가능하도록 한다.
• 수정된 손실 함수를 최소화할 경우 진짜 레이블 손실을 최소화하는 것과 동일한 해에 도달함을 증명함으로써 최적의 분류기로의 수렴을 보장한다.
• 탈라그랑드의 압축 렘마와 손실 함수의 리프시츠 연속성을 적용하여 라데마처 복잡도를 유계화하고 일반화 성능를 뒷받침한다.

실험 결과

연구 질문

• RQ1 사람의 경험으로 인해 선택 과정이 비균일한 상황에서, 보조 레이블과 진짜 레이블 간의 전이 확률을 편향 없이 추정할 수 있는가?
• RQ2 표준 딥러닝 손실 함수를 어떻게 수정하여 편향된 보조 레이블로부터 효과적으로 학습할 수 있는가?
• RQ3 제안된 방법이 편향된 보조 레이블 하에서 진짜 레이블로 학습한 최적의 분류기로의 수렴을 보장하는가?
• RQ4 정확도와 샘플 효율성 측면에서 제안된 방법이 최신 기법들보다 어떻게 성능이 뛰어나게 되는가?
• RQ5 실제로 편향된 보조 레이블은 균일 가정보다 더 많은 이점을 제공하는가?

주요 결과

• 제안된 방법은 MNIST, CIFAR, Tiny ImageNet를 포함한 기준 데이터셋에서 최신 기법들보다 10퍼센트 이상의 정확도 향상을 달성한다.
• UCI 데이터셋에서도 기존 방법들보다 뚜렷이 뛰어난 성능을 보이며, 다양한 데이터 분포에 대한 강건성을 입증한다.
• 이론적 분석을 통해 보조 레이블로 학습한 분류기가 진짜 레이블로 학습한 최적의 분류기로 수렴함을 보장하는 속도로 수렴함을 확인한다.
• 실증 결과는 제안된 방법이 균일 가정보다 편향된 보조 레이블에서 더 큰 이점을 얻으며, 작은 학습 샘플로도 높은 성능을 달성할 수 있음을 보여준다.
• 편향된 설정 하에서의 수렴성은 실증적으로 더 효과적임을 입증하여, 비균일성의 모델링이 학습 효율을 향상시킨다는 것을 시사한다.
• 각 클래스별로 명확한 예시를 사용함으로써 전이 확률을 정확하고 편향 없는 방식으로 추정할 수 있으며, 이는 성능 향상에 핵심적이다.