[논문 리뷰] Toward Continual Learning for Conversational Agents

Sung‐Jin Lee|arXiv (Cornell University)|2017. 12. 28.

Topic Modeling참고 문헌 28인용 수 26

한 줄 요약

이 논문은 도메인에 의존하지 않는 신경망 모델과 새로운 적응형 탄성 가중치 통합(AEWC) 알고리즘을 사용한 지속적 학습 프레임워크를 제안하여, 다양한 작업 간에 데이터 효율적으로 기술을 축적할 수 있도록 한다. 이 방법은 치명적인 기억 상실을 크게 줄이며, 인간-인간 대화에서의 전이 후 어려운 도메인 외 테스트 세트에서 72.99%의 정확도를 달성하여, 미세조정 및 가중치 전이 기준선을 능가한다.

ABSTRACT

While end-to-end neural conversation models have led to promising advances in reducing hand-crafted features and errors induced by the traditional complex system architecture, they typically require an enormous amount of data due to the lack of modularity. Previous studies adopted a hybrid approach with knowledge-based components either to abstract out domain-specific information or to augment data to cover more diverse patterns. On the contrary, we propose to directly address the problem using recent developments in the space of continual learning for neural models. Specifically, we adopt a domain-independent neural conversational model and introduce a novel neural continual learning algorithm that allows a conversational agent to accumulate skills across different tasks in a data-efficient way. To the best of our knowledge, this is the first work that applies continual learning to conversation systems. We verified the efficacy of our method through a conversational skill transfer from either synthetic dialogs or human-human dialogs to human-computer conversations in a customer support domain.

연구 동기 및 목표

• 엔드 투 엔드 신경 대화 모델의 데이터 집약적 문제를 해결하기 위해, 이는 특정 작업에 특화된 대량의 데이터가 필요로 한다.
• 순차적으로 새로운 대화 기술을 학습할 때 신경망에서 발생하는 치명적인 기억 상실 문제를 해결하기 위해.
• 다양하고 목표 도메인이 아닌 데이터(예: 합성 또는 인간-인간 대화)에서부터 실제 고객 지원 작업으로의 대화 기술 효과적인 전이를 가능하게 하기 위해.
• 재학습 없이도 다양한 작업 간에 지식을 축적할 수 있는 통합적이고 도메인에 의존하지 않는 대화 모델을 개발하기 위해.

제안 방법

• 다양한 도메인 간 일반화를 가능하게 하기 위해, 연속적인 작업에 대해 훈련된 도메인에 의존하지 않는 신경 대화 모델을 제안한다.
• 작업 중요도와 파라미터 민감도에 따라 정규화 강도를 동적으로 조정하는 새로운 지속적 학습 알고리즘인 적응형 탄성 가중치 통합(AEWC)을 도입한다.
• 이전 작업의 지식을 유지하기 위해, 새로운 작업에 대한 미세조정 동안 탄성 가중치 통합을 적응형 스케일링과 함께 적용한다.
• 높은 다양성의 인간-인간 대화에서 전이할 때의 강건성을 향상시키기 위해 발화 및 상태 임베딩에 드롭아웃 정규화(0.4)를 적용한다.
• 장기적 의존성 관리 및 전이 학습에서의 노이즈 감소를 위해 최대 발화 길이를 20 토큰으로 제한한다.
• 두 단계 훈련 프로토콜을 활용한다: 먼저 일반적이거나 다양한 대화 데이터(합성 또는 H-H)에서 훈련한 후, 목표 H-C 고객 지원 대화에서 훈련한다.

실험 결과

연구 질문

• RQ1 신경 대화 에이전트가 이전에 습득한 대화 기술을 잊지 않고 새로운 작업을 효율적으로 학습할 수 있는가?
• RQ2 AEWC는 다양한 대화 작업에 대해 순차적 훈련 중 치명적인 기억 상실을 얼마나 효과적으로 완화하는가?
• RQ3 합성 또는 인간-인간 대화에서 미리 훈련한 모델이 실제 인간-컴퓨터 고객 지원 상호작용으로 일반화할 수 있는 정도는 어느 정도인가?
• RQ4 가중치 전이만으로는 지식 전이가 충분한가, 아니면 강건한 지속적 학습을 위해 적응형 정규화가 필수적인가?

주요 결과

• AEWC는 인간-인간 대화에서의 전이 후 HC_reset_password+ 테스트 세트에서 72.99%의 정확도를 달성하여, 가중치 전이(57.81%) 및 전이 없음(27.39%) 기준선을 크게 능가한다.
• H-C 대화 전이 작업에서, AEWC는 증가하는 훈련 예제에도 불구하고 HC_reset_password+에서 68.88%의 높은 성능을 유지했고, 가중치 전이 성능는 감소하여 기억 상실이 발생함을 시사한다.
• 단 한 개의 훈련 예제만으로도 AEWC와 가중치 전이가 도메인 외 테스트 세트에서 50% 이상의 정확도를 달성하여, 효과적인 사전 지식 전이가 이루어짐을 보여준다.
• 가중치 전이 모델의 성능는 HC_reset_password+에서 체계적 노이즈와 분포 이탈로 인해 크게 떨어졌으며, 표준 미세조정의 취약성을 확인한다.
• AEWC는 모든 훈련 단계에서 일관된 향상을 보이며, 이전 지식의 안정적이고 효과적인 통합을 보여준다.
• 이 방법은 인간-인간 대화(다양한 주제와 더 긴 발화 포함)에서부터 레이블이 적은 데이터로도 목표 고객 지원 도메인으로의 전이를 성공적으로 가능하게 하였다.