[논문 리뷰] Positive-Congruent Training: Towards Regression-Free Model Updates

Sijie Yan, Yuanjun Xiong외 6명|arXiv (Cornell University)|2020. 11. 18.

Adversarial Robustness in Machine Learning참고 문헌 36인용 수 5

한 줄 요약

이 논문은 Focal Distillation이라는 가중치를 부여한 디스틸레이션 손실을 사용하여 기존 모델이 올바르게 예측한 샘플이 새 모델에서 잘못 예측되는 '음성 전환'(negative flips)을 최소화함으로써 AI 모델 업데이트 시 회귀 현상을 줄이기 위해 Positive-Congruent Training (PCT)을 도입한다. 이 방법은 정확도를 희생시키지 않은 채 음성 전환 비율을 최대 30% 감소시키며, 기준 모델을 앙상블화함으로써 더욱 높은 일관성을 확보하면서도 성능을 유지한다.

ABSTRACT

Reducing inconsistencies in the behavior of different versions of an AI system can be as important in practice as reducing its overall error. In image classification, sample-wise inconsistencies appear as "negative flips": A new model incorrectly predicts the output for a test sample that was correctly classified by the old (reference) model. Positive-congruent (PC) training aims at reducing error rate while at the same time reducing negative flips, thus maximizing congruency with the reference model only on positive predictions, unlike model distillation. We propose a simple approach for PC training, Focal Distillation, which enforces congruence with the reference model by giving more weights to samples that were correctly classified. We also found that, if the reference model itself can be chosen as an ensemble of multiple deep neural networks, negative flips can be further reduced without affecting the new model's accuracy.

연구 동기 및 목표

• 이전 모델이 올바르게 분류한 샘플에서 새로운 모델이 오류를 유발하는 모델 업데이트 회귀 문제를 해결하기 위해.
• 기준 모델의 정확한 예측을 유지하는 '양성 일관성(positive congruence)'을 모델 업데이트 과정에서 체계화하기 위해.
• 오차율을 증가시키지 않으면서 음성 전환 비율을 최소화하는 실용적인 새로운 모델 학습 방법을 개발하기 위해.
• 기준 모델을 앙상블화하면 향후 업데이트에서의 회귀를 줄이는 데 기여하는지 탐색하기 위해.

제안 방법

• 기준 모델이 올바르게 예측한 샘플에 대해 높은 가중치를 할당하는 지식 디스틸레이션의 변종인 Focal Distillation (FD)을 제안한다.
• 양성 일관성 있는 샘플에 초점을 맞춘 수정된 디스틸레이션 손실을 도입하여 음성 전환의 가능성을 줄인다.
• 표준 분류 손실과 포칼 디스틸레이션 손실을 조합한 가중치가 부여된 크로스 엔트로피 손실을 사용하여 정확도와 일관성의 균형을 맞춘다.
• 딥 앙상블에서의 불확실성 추정을 활용해 예측 신뢰도와 음성 전환 간의 관계를 분석한다.
• 향후 업데이트에서 음성 전환을 줄이기 위해 기준 모델로 앙상블 모델을 사용하는지 탐색한다.
• PCT를 적용한 모델과 적용하지 않은 모델을 각각 학습시켜 학습 에포크 수에 따른 오차율과 상대적 음성 전환 비율의 변화를 비교한다.

실험 결과

연구 질문

• RQ1 모델 업데이트 중 전체 오차율을 증가시키지 않으면서 음성 전환 비율을 줄일 수 있는 학습 방법을 설계할 수 있는가?
• RQ2 기준 모델에서의 정확도에 따라 샘플에 가중치를 할당하면 새 모델의 일관성 향상에 기여하는가?
• RQ3 기준 모델을 앙상블화하면 추후 업데이트에서 음성 전환 비율을 줄일 수 있는가(단, 추론 시 앙상블을 사용하지 않더라도)?
• RQ4 학습 과정에서 표준 학습과 PCT 간의 음성 전환 비율 변화는 어떻게 비교되는가?
• RQ5 예측 불확실성과 샘플이 음성 전환으로 전환될 가능성이 간의 상관관계가 있는가?

주요 결과

• Focal Distillation은 표준 학습 대비 음성 전환 비율(NFR)을 최대 30% 감소시키며, 오차율에 미미한 영향을 미친다.
• ImageNet-ILSVRC12에서 Focal Distillation은 NFR을 23.65%(처리 없음)에서 FD-LM로 2.85%로 감소시키며, 오차율은 28.45%로 유지한다.
• 기준 모델을 앙성화하면 NFR은 2.75%로 감소하고 오차율은 26.39%로 떨어지며, 향후 PCT 평가를 위한 파라곤 수준의 성능을 보여준다.
• 학습 과정에서 오차율과 함께 음성 전환 비율도 함께 변화하지만, Focal Distillation은 초기 에포크부터 상대적 NFR의 격차를 형성하고 유지한다.
• 음성 전환으로 전환되는 샘플이 항상 높은 불확실성을 보이지는 않으며, 이는 불확실성 자체만으로는 음성 전환을 신뢰할 만한 예측 도구가 되지 못한다는 것을 시사한다.
• Focal Distillation은 초기 학습 단계에서 상대적 NFR이 더 빠르게 감소하며, 학습 종료 시까지 격차가 지속되므로 기준 모델과의 조기 일치가 효과적임을 보여준다.