[논문 리뷰] How does Disagreement Help Generalization against Label Corruption?

Xingrui Yu, Bo Han외 4명|arXiv (Cornell University)|2019. 01. 14.

Machine Learning and Data Classification참고 문헌 37인용 수 159

한 줄 요약

Co-teaching+는 두 네트워크를 분기시키고 작은 손실 불일치 데이터에 대해 교차 업데이트하는 Update by Disagreement 전략을 사용하여 노이즈 라벨에 대한 강건성을 향상시키고 하나의 합의로 수렴하는 것을 방지한다.

ABSTRACT

Learning with noisy labels is one of the hottest problems in weakly-supervised learning. Based on memorization effects of deep neural networks, training on small-loss instances becomes very promising for handling noisy labels. This fosters the state-of-the-art approach "Co-teaching" that cross-trains two deep neural networks using the small-loss trick. However, with the increase of epochs, two networks converge to a consensus and Co-teaching reduces to the self-training MentorNet. To tackle this issue, we propose a robust learning paradigm called Co-teaching+, which bridges the "Update by Disagreement" strategy with the original Co-teaching. First, two networks feed forward and predict all data, but keep prediction disagreement data only. Then, among such disagreement data, each network selects its small-loss data, but back propagates the small-loss data from its peer network and updates its own parameters. Empirical results on benchmark datasets demonstrate that Co-teaching+ is much superior to many state-of-the-art methods in the robustness of trained models.

연구 동기 및 목표

• 딥 뉴럴 네트워크에서 노이즈 라벨 하에서의 강건한 학습을 유도한다.
• 작은 손실 선택을 통한 기억화를 활용하여 깨끗한 데이터를 식별한다.
• 조기 합의의 방지를 위해 두 네트워크 간의 발산을 유지한다.
• 불일치 업데이트를 교차 업데이트 파라미터와 결합하여 강건성을 높인다.

제안 방법

• 두 개의 심층 네트워크를 병렬로 학습한다.
• 각 미니배치에서 예측 불일치를 계산하고 불일치 데이터만 남긴다.
• 각 네트워크는 불일치 데이터에서 자체적으로 작은 손실 부분집합을 선택한다.
• 각 네트워크는 상대 네트워크의 작은 손실 데이터로 파라미터를 업데이트한다(교차 업데이트).
• 에폭에 따라 작은 손실 데이터 비율 lambda(e)를 조정하여 데이터 보유를 통제한다.
• 에폭 전반에 걸쳐 불일치 업데이트와 교차 업데이트를 반복한다.

실험 결과

연구 질문

• RQ1 두 네트워크 간의 불일치를 유지하는 것이 단일 합의로의 수렴을 방지하고 라벨 노이즈에 대한 강건성을 향상시킬 수 있는가?
• RQ2 불일치 기반 업데이트와 작은 손실 데이터 선택을 결합하는 것이 다양한 데이터셋에서 Co-teaching 및 MentorNet을 넘어 성능을 향상시키는가?
• RQ3 깨끗한 데이터 학습과 노이즈 회피의 균형을 맞추기 위해 데이터 선택 비율 lambda(e)는 어떻게 진화해야 하는가?

주요 결과

• Co-teaching+는 시뮬레이션된 노이즈 데이터셋(MNIST, CIFAR-10, CIFAR-100, NEWS, T-ImageNet)에서 일관되게 Co-teaching, MentorNet, F-correction보다 우수한 성능을 보인다.
• 불일치 유지가 네트워크를 발산 상태로 유지하게 하여 에폭에 걸쳐 강건한 학습을 지속시키는 데 도움을 준다.
• 강건성을 위한 세 가지 핵심 요소: 작은 손실 트릭, 교차 업데이트, 그리고 네트워크 간의 지속적인 발산.
• 오픈 셋 및 실제 세계의 노이즈 설정에서 Co-teaching+가 기준치보다 더 높은 정확도를 달성한다.