[논문 리뷰] Avoiding catastrophic forgetting in mitigating model biases in sentence-pair classification with elastic weight consolidation

James Thorne, Andreas Vlachos|arXiv (Cornell University)|2020. 04. 29.

Topic Modeling참고 문헌 15인용 수 10

한 줄 요약

이 논문은 자연어 추론 및 사실 검증과 같은 문장 쌍 분류 작업을 위해 사전 훈련된 모델을 미세조정할 때 기존 작업에 대한 치명적인 잊음(catastrophic forgetting)을 최소화하면서 유연한 무게 통합(Elastic Weight Consolidation, EWC)을 사용하는 것을 제안한다. EWC는 원본 데이터셋에서의 성능 저하를 최소화하면서도 상당한 편향 감소를 가능하게 하며, 파레토 지배적인 방식으로 표준 미세조정보다 뛰어난 성능을 보인다.

ABSTRACT

The biases present in training datasets have been shown to be affecting models for a number of tasks such as natural language inference(NLI) and fact verification. While fine-tuning models on additional data has been used to mitigate such biases, a common issue is that of catastrophic forgetting of the original task. In this paper, we show that elastic weight consolidation (EWC) allows fine-tuning of models to mitigate biases for NLI and fact verification while being less susceptible to catastrophic forgetting. In our evaluation on fact verification systems, we show that fine-tuning with EWC Pareto dominates standard fine-tuning, yielding models lower levels of forgetting on the original task for equivalent gains in accuracy on the fine-tuned task. Additionally, we show that systems trained on NLI can be fine-tuned to improve their accuracy on stress test challenge tasks with minimal loss in accuracy on the MultiNLI dataset despite greater domain shift.

연구 동기 및 목표

• 문장 쌍 분류에서 데이터셋 편향을 줄이기 위해 모델을 미세조정할 때 기존 작업에 대한 치명적인 잊음을 해결하기 위해.
• EWC가 원본 작업 성능를 유지하면서도 편향 감소를 위한 미세조정에서 정확도 향상을 달성할 수 있는지 평가하기 위해.
• 사실 검증의 스트레스 테스트 과제와 같이 심각한 도메인 이동 상황에서 EWC의 효과를 평가하기 위해.
• 기본적인 미세조정과 비교하여 EWC 기반 미세조정의 잊음과 정확도 향상 측면에서의 성능을 비교하기 위해.

제안 방법

• 원본 사전 훈련된 모델의 중요한 가중치를 유지하기 위해 미세조정 중 모델 가중치를 정규화하기 위해 유연한 무게 통합(Elastic Weight Consolidation, EWC)을 적용한다.
• 파이셔 정보를 사용하여 매개변수 중요도를 추정하고, 이를 EWC의 정규화 강도를 안내한다.
• 자연어 추론(NLI) 및 사실 검증 작업에서의 편향을 줄이기 위해 BERT 기반 모델을 추가 데이터로 미세조정한다.
• 원본 MultiNLI 데이터셋과 스트레스 테스트 과제를 포함한 후행 편향 감소 과제에서 성능을 평가한다.
• 잊음과 정확도 메트릭을 종합적으로 비교하기 위해 파레토 지배 분석을 수행한다.
• 기존 작업 및 미세조정된 작업에서의 정확도를 측정하여 잊음과 향상 정도를 정량화한다.

실험 결과

연구 질문

• RQ1 EWC는 원본 작업에 대한 치명적인 잊음을 일으키지 않으면서도 문장 쌍 분류에서 모델 편향을 효과적으로 줄일 수 있는가?
• RQ2 편향 감소 과제에서 EWC 기반 미세조정은 표준 미세조정과 비교해 잊음과 정확도 향상 측면에서 어떻게 다른가?
• RQ3 MultiNLI에서 스트레스 테스트 과제로의 큰 도메인 이동 상황에서도 EWC는 성능을 어느 정도 유지할 수 있는가?
• RQ4 EWC는 원본 작업에서의 손실 없이 새로운 작업에서의 성능 향상을 달성하는 파레토 개선을 가능하게 하는가?

주요 결과

• EWC 기반 미세조정은 사실 검증 시스템에서 표준 미세조정을 파레토 지배한다. 동일하거나 더 나은 미세조정 작업 정확도를 달성하면서도 원본 작업에서의 잊음이 더 낮다.
• EWC로 미세조정된 모델은 MultiNLI 데이터셋에서 성능 저하가 거의 없었고, 스트레스 테스트 과제에서의 정확도는 향상되었다.
• 심각한 도메인 이동에도 불구하고 EWC를 적용한 모델은 원본 NLI 작업에서 강력한 성능을 유지하면서도 편향 감소 벤치마크에서 성능 향상을 달성했다.
• EWC의 사용은 원본 문장 쌍 분류 작업에서의 일반화 능력을 훼손하지 않으면서도 효과적인 편향 감소를 가능하게 했다.