[논문 리뷰] Update Frequently, Update Fast: Retraining Semantic Parsing Systems in a Fraction of Time

Vladislav Lialin, Rahul Goel외 3명|arXiv (Cornell University)|2020. 10. 15.

Topic Modeling참고 문헌 23인용 수 5

한 줄 요약

이 논문은 EWC 정규화와 전체 데이터셋 슈퍼샘플링을 결합한 빠르고 효율적인 방법을 제안하여, 학습을 처음부터 다시 하는 것과 유사한 성능를 10퍼센트 미만의 시간 내에 달성하면서 치명적인 기억 상실을 최소화한다. 이 방법은 실세계의 구현 환경에서 대규모 의미 분석 시스템을 실질적으로 자주 재학습할 수 있도록 한다.

ABSTRACT

Currently used semantic parsing systems deployed in voice assistants can require weeks to train. Datasets for these models often receive small and frequent updates, data patches. Each patch requires training a new model. To reduce training time, one can fine-tune the previously trained model on each patch, but naive fine-tuning exhibits catastrophic forgetting - degradation of the model performance on the data not represented in the data patch. In this work, we propose a simple method that alleviates catastrophic forgetting and show that it is possible to match the performance of a model trained from scratch in less than 10% of a time via fine-tuning. The key to achieving this is supersampling and EWC regularization. We demonstrate the effectiveness of our method on multiple splits of the Facebook TOP and SNIPS datasets.

연구 동기 및 목표

• 생산 환경에서 의미 분석 모델의 장기적인 학습 시간 문제를 해결하기 위해, 이는 수일 또는 수주가 소요될 수 있다.
• 특히 저자원 또는 장꼬리 클래스에 대해 자주 데이터 패치가 추가될 경우 재학습 오버헤드를 줄이기 위해.
• 치명적인 기억 상실 없이 빠르고 효율적인 모델 업데이트를 가능하게 하여 지속적 학습을 실세계 NLP 시스템에 실현 가능하게 하기 위해.
• 의미 분석 분야에서 데이터 인크리멘탈 지속적 학습 방법의 효과를 평가하여 속도, 정확도 및 기억 상실 완화 측면에서 평가하기 위해.
• 특히 저자원 클래스에 대해 성능 저하가 발생하는 것을 감지할 수 있는 새로운 평가 지표를 제안하기 위해.

제안 방법

• 모델는 EWC(Elastic Weight Consolidation) 정규화를 사용하여 새로운 데이터에 대해 미세조정하는 동안 이전에 학습한 데이터의 지식을 유지한다.
• 모델는 기존 학습 데이터(D₁)의 모든 예제를 새로운 데이터(D₂)에 대해 미세조정할 때 포함함으로써 전체 데이터셋 슈퍼샘플링을 적용한다. 이는 작은 재현 버퍼를 사용하는 것과는 대조된다.
• 오래된 데이터와 새로운 데이터의 조합된 데이터셋을 기반으로 모델를 미세조정하며, 균형 잡힌 샘플링을 통해 클래스 불균형이 기억 상실을 악화시키는 것을 방지한다.
• 이 방법은 성능 저하를 유발하는 것으로 밝혀진 레이어 동결을 피하고, 대신 EWC와 데이터 재가중을 통해 학습 안정성을 확보한다.
• 치명적인 기억 상실을 정량화하기 위해, 2표준편차 이상 성능 저하가 발생한 클래스 수를 추적하는 새로운 평가 지표를 도입한다.
• 이 방법은 다양한 데이터 가용성 조건 하에서 페이스북 TOP 및 SNIPS 데이터셋의 여러 분할에 대해 평가된다.

실험 결과

연구 질문

• RQ1 EWC와 전체 데이터셋 슈퍼샘플링을 사용한 미세조정이 의미 분석에서 학습을 처음부터 다시 하는 것과 유사한 성능를 달성할 수 있는가?
• RQ2 이 방법은 데이터 인크리멘탈 환경에서 치명적인 기억 상실을 최소화하면서 학습 시간을 얼마나 줄일 수 있는가?
• RQ3 기존 데이터에서 특정 클래스에 대해 소수의 예제(예: <30)가 존재하고, 수백 개의 예제가 점진적으로 추가될 경우 이 방법은 어떻게 성능를 발휘하는가?
• RQ4 EWC와 전체 데이터셋 샘플링이 다양한 클래스 분포에서 기억 상실을 줄이는 데 있어 다른 정규화 및 재현 전략보다 우수한가?
• RQ5 제안된 지표는 치명적인 기억 상실로 인한 클래스별 성능 저하를 효과적으로 감지하고 정량화할 수 있는가?

주요 결과

• 이 방법은 학습을 처음부터 다시 하는 모델과 유사한 테스트 세트 성능를 달성하며, 미세조정에 소요되는 시간은 학습을 처음부터 다시 하는 데 필요한 시간의 10퍼센트 미만이다.
• EWC와 기존 데이터의 20퍼센트 샘플링 조합이 모든 데이터셋 분할에서 가장 낮은 기억 상실을 기록했으며, EWC + 전체 샘플링은 기존 데이터 10퍼센트 조건에서 조직자 이벤트 95 분할에서 기억 상실을 완전히 제거했다.
• 6개 데이터셋 분할 중 5개에서 EWC와 샘플링을 사용한 방법이 2표준편차 이상 성능 저하가 발생한 클래스 수가 가장 적었다.
• 레이어 동결은 효과가 없고, 오히려 해로운 것으로 밝혀졌으며, 특히 헤드 레이어만 업데이트될 경우에 특히 그렇다. 이는 저자원 클래스에 대해 특징 적응이 핵심임을 시사한다.
• 기존 데이터에 30개 미만의 예제가 존재하고, 점진적으로 300개 미만의 예제가 추가되는 현실적인 저데이터 설정에서, 이 방법은 학습을 처음부터 다시 하는 것보다 성능가 뛰어났다.
• 클래스별 성능 저하를 측정하기 위한 제안된 지표는 전체 EM 또는 F1 점수에 의해 가려졌던 기억 상실 패턴을 효과적으로 식별하는 데 성공했다.