[논문 리뷰] Instance Correction for Learning with Open-set Noisy Labels

Xiaobo Xia, Tongliang Liu외 5명|arXiv (Cornell University)|2021. 06. 01.

Machine Learning and Data Classification참고 문헌 49인용 수 7

한 줄 요약

이 논문은 개방형 노이즈 레이블 학습에서 알려진 클래스 공간 외부에 있는 레이블을 가진 폐기된 데이터를 재사용하기 위해 타겟팅된 적대적 공격을 활용한 인스턴스 보정을 제안한다. 비저항성 특징은 보정하면서 저항성 특징은 유지함으로써 일반화 성능을 햖थ하고, WebVision 및 합성 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, S2E보다 0.70% 향상되고 MentorNet보다 0.23% 향상된다.

ABSTRACT

The problem of open-set noisy labels denotes that part of training data have a different label space that does not contain the true class. Lots of approaches, e.g., loss correction and label correction, cannot handle such open-set noisy labels well, since they need training data and test data to share the same label space, which does not hold for learning with open-set noisy labels. The state-of-the-art methods thus employ the sample selection approach to handle open-set noisy labels, which tries to select clean data from noisy data for network parameters updates. The discarded data are seen to be mislabeled and do not participate in training. Such an approach is intuitive and reasonable at first glance. However, a natural question could be raised "can such data only be discarded during training?". In this paper, we show that the answer is no. Specifically, we discuss that the instances of discarded data could consist of some meaningful information for generalization. For this reason, we do not abandon such data, but use instance correction to modify the instances of the discarded data, which makes the predictions for the discarded data consistent with given labels. Instance correction are performed by targeted adversarial attacks. The corrected data are then exploited for training to help generalization. In addition to the analytical results, a series of empirical evidences are provided to justify our claims.

연구 동기 및 목표

• 기존 방법이 알려진 클래스 공간 외부에 있는 레이블을 가진 개방형 노이즈 레이블을 다루는 데에 한계가 있다는 점을 해결하기 위해.
• 폐기된 잘못된 레이블 데이터에 일반화에 유용한 정보가 없다는 가정을 도전하기 위해.
• 완전히 폐기하는 대신 폐기된 데이터의 인스턴스를 보정하는 새로운 방법을 제안하기 위해.
• 청결한 데이터와 보정된 데이터를 모두 활용하여 훈련함으로써 모델의 저항성과 성능을 향상시키기 위해.

제안 방법

• 먼저 샘플 선택을 적용하여 청결한 예제와 잘못 레이블링된 예제(예: '늑대'가 '개'로 잘못 레이블링된 경우)를 식별한다.
• 잘못 레이블링된 예제의 경우, 주어진(잘못된) 레이블과 일치하도록 비저항성 특징을 수정하면서 저항성 특징은 유지하는 타겟팅된 적대적 공격을 사용한다.
• 보정된 인스턴스는 주어진 레이블에 따라 감독을 받으며, 이는 이전에 폐기된 데이터를 다시 활용할 수 있도록 훈련에 활용한다.
• 이 방법은 저항성 특징과 비저항성 특징 간의 차이를 활용하며, 비저항성 특징은 적대적 조작에 더 민감하다.
• 훈련 중에 청결한 데이터와 보정된 데이터 간의 균형을 조절하는 하이퍼파라미터 λ가 존재한다.
• 이 방법은 타입 I 및 타입 II 개방형 노이즈 설정 모두에서 평가되었으며, 데이터 유용성에 대해 서로 다른 행동을 보였다.

실험 결과

연구 질문

• RQ1 개방형 노이즈 레이블 학습에서 폐기된 데이터가 여전히 모델의 일반화에 유용한 정보를 담고 있는가?
• RQ2 진정한 클래스 레이블 없이도 개방형 노이즈 레이블 상황에서 잘못 레이블링된 인스턴스를 보정할 수 있는가?
• RQ3 저항성 특징과 비저항성 특징은 적대적 인스턴스 보정의 효과성에 어떻게 영향을 미치는가?
• RQ4 인스턴스 보정이 개방형 노이즈 레이블 학습에서 기존의 샘플 선택 또는 직접 데이터 재사용보다 우수한가?
• RQ5 다른 노이즈 생성 메커니즘(타입 I 대 비타입 II) 하에서 폐기된 데이터의 유용성은 어떻게 달라지는가?

주요 결과

• WebVision 데이터셋에서 제안된 S-InsCorr 방법은 상위-1 검증 정확도 57.75%를 달성하여 S2E(57.05%)보다 0.70% 높게 기록했다.
• M-InsCorr는 동일한 설정에서 MentorNet을 0.23% 초월하는 57.89%의 정확도를 기록했다.
• 타입 I 개방형 노이즈 하에서는 λ를 증가시킬수록 테스트 정확도가 감소하여, 원시 폐기 데이터는 일반화에 악영향을 미치며 보정이 필요함을 시사한다.
• 타입 II 개방형 노이즈 하에서는 λ 증가에 따라 테스트 정확도가 단조롭게 감소하지 않아, 적절히 보정된 경우 폐기된 데이터가 긍정적인 기여를 할 수 있음을 나타낸다.
• 절단 실험을 통해 인스턴스 보정이 잘못 레이블링된 데이터에서 의미 있는 특징, 특히 저항성 특징을 효과적으로 활용하여 모델의 일반화 능력을 향상시킴을 확인했다.
• 실험 결과는 적대적 인스턴스 보정이 유용한 특징을 유지하고 다양한 개방형 노이즈 설정에서 모델 성능을 향상시킴을 검증한다.