[논문 리뷰] Learning from Complementary Labels

Takashi Ishida, Gang Niu외 2명|arXiv (Cornell University)|2017. 05. 22.

Machine Learning and Data Classification참고 문헌 27인용 수 57

한 줄 요약

이 논문은 다중 클래스 분류를 위한 보완 라벨로부터의 학습을 도입하고, 대칭 조건 하에서 편향되지 않은 위험 추정치를 제공하며, 학습 보장을 확립하고, 보통 라벨과의 실용적 조합을 통해 실무적 응용 가능성을 제시합니다.

ABSTRACT

Collecting labeled data is costly and thus a critical bottleneck in real-world classification tasks. To mitigate this problem, we propose a novel setting, namely learning from complementary labels for multi-class classification. A complementary label specifies a class that a pattern does not belong to. Collecting complementary labels would be less laborious than collecting ordinary labels, since users do not have to carefully choose the correct class from a long list of candidate classes. However, complementary labels are less informative than ordinary labels and thus a suitable approach is needed to better learn from them. In this paper, we show that an unbiased estimator to the classification risk can be obtained only from complementarily labeled data, if a loss function satisfies a particular symmetric condition. We derive estimation error bounds for the proposed method and prove that the optimal parametric convergence rate is achieved. We further show that learning from complementary labels can be easily combined with learning from ordinary labels (i.e., ordinary supervised learning), providing a highly practical implementation of the proposed method. Finally, we experimentally demonstrate the usefulness of the proposed methods.

연구 동기 및 목표

• 다중 클래스 분류에서 일반 라벨에 비해 더 저렴한 보완 라벨의 필요성을 제시합니다.
• 대칭 손실 조건에서 보완 라벨로부터의 편향되지 않은 위험 추정치를 얻는 위험 최소화 프레임워크를 제안합니다.
• 추정 오차 경계 및 수렴 속도 등 이론적 보장을 제공합니다.
• 보완 라벨을 일반 라벨과 크라우드소싱 시나리오를 통해 결합함으로써 실용적 적용 가능성을 입증합니다.
• MNIST 및 여러 벤치마크 데이터 세트에 걸친 실험을 통해 접근 방식을 검증합니다.

제안 방법

• 오류가 잘 발생하는 보완 라벨에 대해 큰 손실을 부과하는 보완 손실을 소개합니다.
• 손실이 대칭 조건을 만족하면 보완적으로 라벨링된 데이터에서 분류 위험을 편향되지 않게 추정할 수 있음을 보입니다.
• OVA 및 PC 손실에 대응하는 보완 손실의 명시적 형태를 제시하며, 예를 들어 시그모이드(sigmoid) 및 램프(ramp) 손실을 포함합니다.
• Rademacher 복잡도를 이용한 추정 오차 경계를 도출하고 최적 모수 수렴 속도 O_p(1/√n)을 입증합니다.
• 일반 라벨과 보완 라벨을 모두 포함할 수 있는 합성 위험(convex combination, alpha 매개변수)을 제시합니다.
• Adam 등과 같은 확률적 방법으로 최적화 가능성을 시연하고, 크라우드소싱 친화적인 데이터 수집 전략을 제시합니다.

실험 결과

연구 질문

• RQ1 손실의 대칭 조건하에서 보완적으로 라벨링된 데이터만으로도 분류 위험을 편향되지 않게 추정할 수 있는가?
• RQ2 보완 라벨로부터의 학습에 대한 이론적 보장(추정 오차 경계, 일관성, 수렴 속도)은 무엇인가?
• RQ3 보완 라벨 학습을 일반 감독 학습과 통합해 데이터 효율성을 어떻게 향상시킬 수 있는가?
• RQ4 표준 데이터 세트에서 보완 라벨 방법이 기존 부분 라벨 또는 다중 라벨 접근법과 비교해 실험적으로 어떤 성능을 보이는가?

주요 결과

• 손실이 대칭 조건(L(z)+L(−z)=1)을 만족하면 보완 라벨로부터의 분류 위험의 편향되지 않은 추정기가 가능하다.
• 시그모이드(sigmoid) 및 램프(ramp) 손실은 보완 학습의 대칭 조건을 만족하여 실용적인 편향되지 않은 위험 추정을 가능하게 한다.
• 이 방법은 최적 모수 수렴 속도 O_p(1/√n)을 달성하고 일관성을 가진다.
• 보완 라벨과 일반 라벨의 결합이 실험에서 성능과 데이터 효율성을 향상시킨다.
• MNIST 및 벤치마크 데이터 세트에 대한 실험은 부분 라벨 및 다중 라벨 기반 방법과 경쟁력 있는 성능을 보인다.
• 이 프레임워크는 크라우드소싱과의 호환성이 있어 보완 라벨의 수집을 쉽게 한다.