[논문 리뷰] Continual Learning for Natural Language Generation in Task-oriented Dialog Systems

Fei Mi, Liangwei Chen외 3명|arXiv (Cornell University)|2020. 10. 02.

Topic Modeling참고 문헌 50인용 수 4

한 줄 요약

이 논문은 자연어 생성(NLG)을 위한 지속적 학습을 위해 ARPER(적응형 정규화를 통한 우선순위 지정 예시 재생)를 제안한다. 이는 우선순위 지정 예시 재생과 탄성 가중치 통합(Elastic Weight Consolidation, EWC) 기반의 적응형 정규화를 조합하여 치명적 기억 상실을 완화한다. ARPER는 MultiWoZ-2.0에서 기존 방법들을 뛰어넘으며, 여섯 개의 도메인에서 슬롯 오류율을 최대 4.45% 감소시키면서도 작은 메모리 사용량을 유지한다.

ABSTRACT

Natural language generation (NLG) is an essential component of task-oriented dialog systems. Despite the recent success of neural approaches for NLG, they are typically developed in an offline manner for particular domains. To better fit real-life applications where new data come in a stream, we study NLG in a "continual learning" setting to expand its knowledge to new domains or functionalities incrementally. The major challenge towards this goal is catastrophic forgetting, meaning that a continually trained model tends to forget the knowledge it has learned before. To this end, we propose a method called ARPER (Adaptively Regularized Prioritized Exemplar Replay) by replaying prioritized historical exemplars, together with an adaptive regularization technique based on ElasticWeight Consolidation. Extensive experiments to continually learn new domains and intents are conducted on MultiWoZ-2.0 to benchmark ARPER with a wide range of techniques. Empirical results demonstrate that ARPER significantly outperforms other methods by effectively mitigating the detrimental catastrophic forgetting issue.

연구 동기 및 목표

• 실제 대화 시스템에서 새로운 도메인과 의도를 점진적으로 학습할 때 신경망 기반 자연어 생성(NLG) 모델에서 발생하는 치명적 기억 상실 문제를 해결하기 위해.
• 모든 이전 데이터를 다시 학습하지 않아도 되는 확장 가능한 지속적 학습 프레임워크를 NLG에 개발하기 위해.
• 새로운 데이터에 대한 점진적 학습 동안 이전에 학습한 발화 패턴의 지식 유지 능력을 향상시키기 위해.
• 예시 재생과 적응형 정규화를 조합하여 모델 복잡도 증가 없이 지식 통합을 강화하기 위해.
• 표준 벤치마크에서 다양한 NLG 아키텍처와 지속적 학습 시나리오에 걸쳐 방법을 평가하기 위해.

제안 방법

• 탄성 가중치 통합(Elastic Weight Consolidation, EWC) 기반의 적응형 정규화와 우선순위 지정 예시 재생을 조합한 ARPER를 제안한다.
• 효율적인 재생을 위해 과거 데이터에서 다양하고 대표적인 예시를 선별하기 위해 허딩 기반 선택 전략을 사용한다.
• 선택된 예시에서 계산된 피셔 정보 행렬의 근사치를 사용해 EWC 정규화를 적용하여 중요한 파라미터를 보호한다.
• 새로운 데이터와 이전 데이터 간의 분포 이탈에 기반해 동적으로 조정되는 적응형 정규화 가중치를 도입한다.
• 각 학습 단계에서 선택된 예시를 재생하여 이전 지식의 기억을 강화한다.
• 이중 구성 요소 학습 전략을 활용한다: 예시 재생을 통한 기억 유지와 파라미터 안정성 확보를 위한 적응형 정규화.

실험 결과

연구 질문

• RQ1 우선순위 지정 선택 전략을 사용한 예시 재생이 지속적 학습에서 NLG의 치명적 기억 상실을 효과적으로 줄일 수 있는가?
• RQ2 고정 또는 비적응형 정규화와 비교해 EWC 기반의 적응형 정규화는 이전에 학습한 도메인에서의 성능 유지에 어떻게 영향을 미치는가?
• RQ3 ARPER는 SCLSTM, SCVAE, GPT-2와 같은 다양한 기본 NLG 모델에 대해 일반화 가능한가?
• RQ4 실제로 발생하는 점진적 학습 환경에서 ARPER는 최신 기술(SOTA) 지속적 학습 방법보다 어떻게 성능을 내는가?
• RQ5 예시 선택 전략(우선순위 vs. 무작위)이 NLG에서 장기적인 지식 유지에 어떤 영향을 미치는가?

주요 결과

• 기본 모델로 SCLSTM를 사용할 때 ARPER는 MultiWoZ-2.0에서 슬롯 오류율 4.45%를 기록하며, 다음으로 좋은 방법(ER prio + Dropout)보다 4.04%포인트 우수하다.
• 제거 실험 결과, 우선순위 지정 예시와 적응형 정규화 둘 다 필수적임을 확인하였으며, 둘 중 하나를 제거하면 성능이 크게 떨어진다.
• GPT-2에서 ARPER는 슬롯 오류율 5.32%를 기록하여, GPT-2가 본질적으로 기억 상실에 강건함에도 불구하고 다양한 NLG 아키텍처에 일반화됨을 보여준다.
• 사례 연구 결과, ARPER는 새로운 도메인을 학습하면서도 이전의 슬롯 패턴(예: 'Fee'와 'Type')을 성공적으로 유지하는 반면, 기준 모델들은 슬롯 유출과 반복 오류를 야기한다.
• 단지 250개의 예시만 저장함에도 불구하고, 기억 재생과 파라미터 정규화를 효과적으로 균형 잡아 치명적 기억 상실을 줄인다.
• ARPER는 첫 번째 도메인을 포함한 모든 도메인에서 뛰어난 성능을 유지하며, 첫 번째 도메인의 최종 오류율이 4.04%로 나타나 初기 지식의 잊힘 최소화를 보여준다.