[논문 리뷰] Not All Knowledge Is Created Equal.

Ziyun Li, Xinshao Wang외 5명|arXiv (Cornell University)|2021. 06. 02.

Machine Learning and Data Classification참고 문헌 34인용 수 5

한 줄 요약

이 논문은 레이블 노이즈 하에서 신뢰할 수 없는 지식을 제거함으로써 모델의 견고성을 향상시키기 위해 신뢰도 기반 지식 선택과 상호 distillation을 조합한 선택적 지식 distillation 프레임워크인 CMD(Confident knowledge selection followed by Mutual Distillation)를 제안한다. CMD는 정적 또는 점진적 임계값을 사용하여 오직 신뢰도가 높은 지식만을 선택하며, 레이블 노이즈 상황에서도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Mutual knowledge distillation (MKD) improves a model by distilling knowledge from another model. However, not all knowledge is certain and correct, especially under adverse conditions. For example, label noise usually leads to less reliable models due to the undesired memorisation [1, 2]. Wrong knowledge misleads the learning rather than helps. This problem can be handled by two aspects: (i) improving the reliability of a model where the knowledge is from (i.e., knowledge source's reliability); (ii) selecting reliable knowledge for distillation. In the literature, making a model more reliable is widely studied while selective MKD receives little attention. Therefore, we focus on studying selective MKD and highlight its importance in this work. Concretely, a generic MKD framework, Confident knowledge selection followed by Mutual Distillation (CMD), is designed. The key component of CMD is a generic knowledge selection formulation, making the selection threshold either static (CMD-S) or progressive (CMD-P). Additionally, CMD covers two special cases: zero knowledge and all knowledge, leading to a unified MKD framework. We empirically find CMD-P performs better than CMD-S. The main reason is that a model's knowledge upgrades and becomes confident as the training progresses. Extensive experiments are present to demonstrate the effectiveness of CMD and thoroughly justify the design of CMD. For example, CMD-P obtains new state-of-the-art results in robustness against label noise.

연구 동기 및 목표

• 모든 전달된 지식이 신뢰할 만하지 않다는 문제, 특히 레이블 노이즈 상황에서의 문제를 다루기 위해.
• 교사 모델의 신뢰성 향상보다 선택적 지식 distillation의 부족한 탐색된 중요성을 부각하기 위해.
• 영역 간 지식 전달이 가능한 0%, 부분적 또는 전면적 지식 전달을 지원하는 일반적이고 통합된 상호 지식 distillation 프레임워크를 설계하기 위해.
• 신뢰도 기반 지식 선택이 모델의 일반화 능력과 견고성 향상에 어떻게 기여하는지 조사하기 위해.
• 점진적 임계값 전략이 정적 임계값 전략보다 더 높은 성능을 내는지 경험적으로 검증하기 위해.

제안 방법

• 모델의 신뢰도에 따라 동적 또는 고정된 지식 선택이 가능한 상호 distillation 프레임워크 내에서 일반적인 지식 선택 수식을 제안한다.
• 두 가지 변형을 도입한다: CMD-S(정적 임계값)와 CMD-P(점진적 임계값), 여기서 선택 임계값은 학습 중에 점차 증가한다.
• 교사 모델의 신뢰도 점수를 사용하여 distillation 이전에 저신뢰도 예측을 걸러낸다.
• 프레임워크를 설계하여 두 극단을 자연스럽게 포함한다: 지식 전달 없음(단순 distillation 없음)과 모든 지식 전달(표준 MKD), 이로써 통합된 프레임워크를 형성한다.
• 학생 모델과 선택된 교사 모델 출력 간 표준 distillation 손실을 사용하며, 손실 계산 이전에 신뢰도 필터링을 적용한다.
• distillation 동안 지식 필터링을 적용하면서, 학생 모델을 교사 모델의 지식과 원래 레이블 양쪽 모두를 사용하여 학습시킨다.

실험 결과

연구 질문

• RQ1 레이블 노이즈 하에서 선택적 지식 distillation은 표준 상호 distillation과 비교해 어떤가?
• RQ2 지식 선택에서 정적 임계값과 점진적 신뢰도 임계값을 사용할 경우 어떤 영향을 미치는가?
• RQ3 0%와 100% 지식 전달을 특수 케이스로 포함하는 상호 distillation을 위한 통합 프레임워크를 설계할 수 있는가?
• RQ4 낮은 신뢰도 지식을 걸러내는 것이 모델의 일반화 능력을 향상시키고 노이즈가 섞인 레이블의 기억을 줄이는가?
• RQ5 신뢰도 기반 선택이 노이즈가 많은 레이블 환경에서 최신 기술 수준의 성능을 달성하는 데 기여하는 바는 무엇인가?

주요 결과

• 점진적 신뢰도 임계값을 사용하는 CMD-P는 평가된 모든 설정에서 CMD-S를 능가한다.
• 점진적 임계값 전략은 모델의 신뢰도가 시간이 지남에 따라 증가하는 학습 동역학과 더 잘 부합한다.
• CMD-P는 표준 벤치마크에서 레이블 노이즈에 대한 견고성 면에서 새로운 최신 기술 수준의 성능을 달성한다.
• 프레임워크는 지식 전달 없음과 전면 지식 전달을 특수 케이스로 자연스럽게 포함하여 유연성을 입증한다.
• 경험적 결과는 불신뢰할 만한 지식을 걸러내는 것이 모델의 일반화 능력을 크게 향상시키고 레이블 노이즈에 대한 민감도를 감소시킨다는 것을 확인한다.