[논문 리뷰] How Does Disagreement Benefit Co-teaching?

Xingrui Yu, Bo Han외 4명|arXiv (Cornell University)|2019. 01. 14.

Machine Learning and Data Classification인용 수 23

한 줄 요약

Co-teaching+는 두 네트워크 간의 이견이 있는 경우에만 상대 네트워크의 소손실 샘플을 사용하여 각 네트워크를 업데이트하는 새로운 공교수 프레임워크를 제안한다. 이는 조기 수렴을 방지하고 기준 데이터셋에서 최신 기술보다 뛰어난 성능을 발휘한다.

ABSTRACT

Learning with noisy labels is one of the hottest problems in weakly-supervised learning. Based on memorization effects of deep neural networks, training on small-loss instances becomes very promising for handling noisy labels. This fosters the state-of-the-art approach that cross-trains two deep neural networks using the small-loss trick. However, with the increase of epochs, two networks converge to a consensus and Co-teaching reduces to the self-training MentorNet. To tackle this issue, we propose a robust learning paradigm called Co-teaching+, which bridges the Update by Disagreement strategy with the original Co-teaching. First, two networks feed forward and predict all data, but keep prediction disagreement data only. Then, among such disagreement data, each network selects its small-loss data, but back propagates the small-loss data from its peer network and updates its own parameters. Empirical results on benchmark datasets demonstrate that Co-teaching+ is much superior to many state-of-the-art methods in the robustness of trained models.

연구 동기 및 목표

• 공교수의 한계, 즉 네트워크가 공감대에 도달하여 자기학습으로 악화되는 문제를 해결하기 위해.
• 학습 중 두 학생 네트워크 간의 다양성을 유지하여 노이즈가 있는 레이블 환경에서의 일반화 능력을 향상시키기 위해.
• 청결한 레이블 사전 지식에 의존하지 않고 네트워크 간 이견을 활용하여 강건한 학습을 이끌어내는 학습 프레임워크를 개발하기 위해.
• 소손실 학습 전략의 효과를 높이기 위해 업데이트를 오직 이견이 있는 샘플에만 집중함으로써 노이즈 레이블의 기억을 방지하기 위해.

제안 방법

• 프레임워크는 두 개의 딥 네럴 네트워크를 공교수 방식으로 훈련하지만, 두 네트워크가 예측에서 이견을 보이는 경우에만 각 네트워크를 업데이트한다.
• 이견 샘플 중에서 각 네트워크는 자신만의 소손실 예측을 학습 타겟으로 선택한다.
• 핵심적으로, 각 네트워크는 동일한 이견 샘플에서 상대 네트워크의 예측에 대한 손실을 역전파하여 교차 업데이트를 가능하게 한다.
• 이 상대 손실 역전파 메커니즘은 두 네트워크가 모두 노이즈가 있을지라도 파트너의 더 신뢰할 수 있는 예측에서 배울 수 있도록 보장한다.
• 공감대에 도달한 예측에 대한 업데이트를 피하므로, 공통된 잘못된 예측로의 수렴을 방지한다.
• 훈련 과정에서 네트워크 간의 이견을 동적으로 유지함으로써 다양성을 유지하고 노이즈 레이블의 기억을 줄인다.

실험 결과

연구 질문

• RQ1 두 네트워크 간의 예측 이견을 유지하는 것이 공교수에서 노이즈 레이블에 대한 강건성에 어떤 영향을 미치는가?
• RQ2 상대 네트워크의 소손실 업데이트는 표준 공교수 및 자기학습 기반선을 초월하여 일반화 능력을 향상시킬 수 있는가?
• RQ3 업데이트를 오직 이견이 있는 샘플에만 집중하는 것이 조기 수렴을 방지하고 모델의 강건성을 향상시키는가?
• RQ4 표준 기준 데이터셋에서 높은 노이즈 비율을 처리할 때 Co-teaching+는 최신 기술 방법과 어떻게 비교되는가?

주요 결과

• Co-teaching+는 표준 공교수 및 자기학습 기반선보다 노이즈 레이블에 대해 훨씬 더 뛰어난 강건성을 확보한다.
• 다양한 노이즈 설정 하에서 기준 데이터셋에서 여러 최신 기술 방법을 능가한다.
• 업데이트를 이견 샘플로 제한함으로써 Co-teaching+는 시간이 지남에 따라 악화되는 공감대 수렴 문제를 방지한다.
• 상대 네트워크의 소손실 타겟을 사용함으로써 학습 효율성과 일반화 능력이 향상되며, 이는 두 네트워크가 모두 노이즈 데이터로 훈련되더라도 유효하다.
• 실험 결과는 이견 기반 업데이트 메커니즘이 노이즈 레이블의 기억을 효과적으로 줄인다는 것을 확인한다.
• 다양한 노이즈 비율과 데이터셋 유형에서 성능 향상이 유지되어 강력한 일반화 능력을 보여준다.