[논문 리뷰] Repairing Neural Networks by Leaving the Right Past Behind

Ryutaro Tanno, Melanie F. Pradier외 2명|arXiv (Cornell University)|2022. 07. 11.

Adversarial Robustness in Machine Learning인용 수 8

한 줄 요약

이 논문은 모델 실패의 원인이 되는 유해한 훈련 예제를 식별하고 제거함으로써 신경망을 수리하기 위한 베이지안 지속적 학습 프레임워크를 제안한다. 데이터 삭제를 통해 반사적 사후분포를 근사함으로써, 영향도 함수와 데이터 삭제 기반 기준보다 실패 원인 규명 및 모델 수리에서 뛰어난 성능을 보이며, EWC-영향도는 정확하고 효율적인 탐지 가능하고, EWC-삭제는 실패 집합 정확도와 일반화 성능 간 최적의 트레이드오프 달성한다.

ABSTRACT

Prediction failures of machine learning models often arise from deficiencies in training data, such as incorrect labels, outliers, and selection biases. However, such data points that are responsible for a given failure mode are generally not known a priori, let alone a mechanism for repairing the failure. This work draws on the Bayesian view of continual learning, and develops a generic framework for both, identifying training examples that have given rise to the target failure, and fixing the model through erasing information about them. This framework naturally allows leveraging recent advances in continual learning to this new problem of model repairment, while subsuming the existing works on influence functions and data deletion as specific instances. Experimentally, the proposed approach outperforms the baselines for both identification of detrimental training data and fixing model failures in a generalisable manner.

연구 동기 및 목표

• 모델을 다시 처음부터 학습시키지 않고도, 배포 후에 일반적인 데이터 중심의 접근 방식을 통해 기계학습 모델을 수리하는 방법을 개발하기 위해.
• 모델의 실패 모드를 유발하는 가장 해로운 훈련 예제를 특정 실패 사례에서 식별하기 위해, 사전에 루트 코스를 알지 못하더라도.
• 베이지안 지속적 학습 관점에서 이러한 해로운 예제에 대한 '기억'을 효율적으로 제거함으로써 모델 수리를 가능하게 하기 위해.
• 기존의 영향도 함수 및 데이터 삭제 방법을 통합하고 확장하여 하나의 원리적인 프레임워크로 통합하기 위해.
• 특정 데이터 삭제를 통해 모델 실패를 효과적으로 수리할 수 있으며, 비실패 케이스의 성능는 유지할 수 있는지 검증하기 위해.

제안 방법

• 선택된 훈련 데이터의 부재를 가정함으로써 반사적 사후분포를 모델링하고, 이를 베이지안 지속(불가)학습 문제로 수식화한다.
• 특정 훈련 예제를 제거했을 때 모델 파라미터에 대한 사후분포를 근사 추정함으로써, 영향력 있는 데이터 포인트를 식별할 수 있다.
• 영향도 점수를 추정하기 위해 탄성 가중치 통합(Elastic Weight Consolidation, EWC)을 확장한 EWC-영향도를 사용하여, 특정 실패 모드에 가장 유해한 훈련 예제를 식별한다.
• 모델 수리를 위해, EWC-영향도로 식별된 영향력 있는 예제들을 제거한 후, EWC-삭제—EWC의 변형—를 적용하여 모델을 미세조정한다.
• 실패 원인의 근본 원인에 관계없이, 이 접근 방식은 레이블 노이즈와 입력 수준의 오염(예: 적대적 예제)을 동일하게 다룰 수 있다.
• 성능 균형을 위해 실패 케이스와 나머지 테스트 분포에 대한 성능 간 균형을 맞추기 위해, 쿼리 세트에서 조기 정지 기반으로 하이퍼파rameter를 튜닝한다.

실험 결과

연구 질문

• RQ1 배포된 시스템에서 특정 모델 실패의 원인이 되는 훈련 예제를 자동으로 식별할 수 있는가?
• RQ2 모델 아키텍처를 수정하거나 다시 처음부터 학습시키지 않고도, 실패 케이스에서의 모델 성능을 수리할 수 있는가?
• RQ3 영향도 추정에 기반한 데이터 삭제가 모델의 강건성 향상에 얼마나 기여할 수 있으며, 일반화 성능는 유지할 수 있는가?
• RQ4 제안된 프레임워크는 기존의 영향도 함수 및 데이터 삭제 방법과 비교해 어떻게 해로운 데이터를 식별하고 제거하는가?
• RQ5 지속적 학습 기법인 EWC는 영향도 추정과 선택적 삭제를 통해 모델 수리에 재사용될 수 있는가?

주요 결과

• EWC-영향도는 기준 영향도 함수와 무작위 선택보다 해로운 훈련 예제를 더 잘 식별했으며, 특히 모호하거나 잘못 레이블링된 인스턴스를 탐지하는 데 뛰어난 성능 보였다.
• 레이블 노이즈가 있는 MNIST에서, EWC-삭제는 뉴턴 업데이트-삭제보다 실패 집합 정확도와 나머지 테스트 세트 성능 간 트레이드오프를 더 우수하게 달성했으며, 전체 미세조정 성능에 근접했다.
• 적대적 오염이 있는 CIFAR-10에서, EWC-삭제는 실패 집합 정확도를 뉴턴 업데이트-삭제보다 5% 향상했고, 나머지 테스트 세트에서 1% 미만의 성능 저하를 보였다.
• 기준보다 유사하거나 더 빠른 런타임 성능 보였으며, 실세계 배포에 대한 실용적 효율성을 입증했다.
• 모든 오염된 입력을 재학습을 통해 제거했을 때 실패 집합 정확도 향상이 유의미하지 않아, EWC-영향도가 단순히 노이즈 데이터가 아닌 가장 해로운 이상치만 정확히 식별했다는 것을 시사했다.
• 이 프레임워크는 영향도 함수와 데이터 삭제를 특수 케이스로 포함하며, 이들의 한계를 드러내고 하나의 베이지안 지속적 학습 관점에서 통합했다.