[논문 리뷰] Deploying Lifelong Open-Domain Dialogue Learning

Kurt Shuster, Jack Urbanek외 3명|arXiv (Cornell University)|2020. 08. 18.

Topic Modeling참고 문헌 35인용 수 8

한 줄 요약

이 논문은 자유로운 플레이가 가능한 판타지 역할플레잉 게임에서 내재된 동기 부여를 가진 인간 플레이어와 실시간으로 상호작용함으로써 언어 모델이 지속적으로 향상되는 종신(open-domain) 대화 학습 시스템을 제안한다. 반복적인 인간-모델 대화 수집, 모델 미세조정, 재배포를 통해 시스템은 참여도와 자동 평가 지표에서 뚜렷한 향상을 이룩했으며, 데이터 수집 비용은 커스터마이징된 데이터 수집 방식의 1/5 수준이며, 더 효과적이고 분포에 적합한 데이터를 확보하였다.

ABSTRACT

Much of NLP research has focused on crowdsourced static datasets and the supervised learning paradigm of training once and then evaluating test performance. As argued in de Vries et al. (2020), crowdsourced data has the issues of lack of naturalness and relevance to real-world use cases, while the static dataset paradigm does not allow for a model to learn from its experiences of using language (Silver et al., 2013). In contrast, one might hope for machine learning systems that become more useful as they interact with people. In this work, we build and deploy a role-playing game, whereby human players converse with learning agents situated in an open-domain fantasy world. We show that by training models on the conversations they have with humans in the game the models progressively improve, as measured by automatic metrics and online engagement scores. This learning is shown to be more efficient than crowdsourced data when applied to conversations with real users, as well as being far cheaper to collect.

연구 동기 및 목표

• 열린 도메인 대화 연구에서 정적, 커스터마이징된 데이터셋의 한계를 극복하기 위해 모델이 실시간 인간 상호작용을 통해 지속적으로 학습할 수 있도록 하는 것.
• 배포된 시스템에서의 종신 학습이 모델 품질과 사용자 참여도 측면에서 전통적인 지도 학습 기반의 정적 데이터셋 학습에 비해 뛰어나다는지 조사하는 것.
• 지급 보상이 아닌 내재된 동기 부여를 활용해 플레이어의 참여를 이끌어내어 데이터 수집 비용을 줄이고 데이터 품질을 향상시키는 것.
• 실제 활용 가치의 지표로 플레이어의 지속 참여율과 같은 온라인 참여 지표를 활용해 종신 학습의 효과성을 평가하는 것.
• 특히 더 큰 모델에서 발생하는 환상적 발언 감소와 반복성 증가 사이의 상호 보완적 관계를 탐색하는 것.

제안 방법

• 인간 플레이어가 열린 도메인, 맥락 기반 대화 환경에서 언어 모델과 상호작용할 수 있는 자유로운 플레이가 가능한 판타지 역할플레잉 게임을 배포하였다.
• 플레이어의 내재된 동기 부여를 활용해 게임을 데이터 수집 수단으로 삼아 실시간으로 인간-모델 대화 데이터를 수집하였다.
• 신규로 생성된 인간 기반 대화 데이터와 원래의 LIGHT MTurk 데이터셋을 모두 활용해 모델을 반복적으로 재학습하고 재배포하였다.
• 모델 성능 평가 신호로 실시간 참여 지표인 플레이어의 지속 참여율을 사용하였다.
• 커스터마이징된 데이터(LIGHT)와 게임에서 유도된 인간 기반 데이터(WILD)를 조합해 검색 기반 대화 모델을 학습하였으며, 학습 타겟에 대한 분석 실험을 실시하였다.
• 모델 버전 간 비교를 위해 커스터마이징을 통해 인간 평가를 실시하였으며, 오류 유형(예: 모순, 주제 이탈, 반복)과 전반적인 즐거움을 중심으로 분석하였다.

실험 결과

연구 질문

• RQ1 배포된 게임 환경에서 실시간 인간 상호작용을 통해 종신 대화 학습을 수행할 경우, 정적 데이터셋 학습에 비해 모델 성능 향상이 측정 가능한가?
• RQ2 내재된 동기 부여를 가진 플레이어로부터 수집된 데이터의 비용과 품질은 커스터마이징된 데이터 수집 방식과 비교해 어떻게 다른가? 특히 모델 향상과 참여도 측면에서.
• RQ3 실제 사용자 상호작용 데이터로 미세조정된 더 큰 모델은 사실적 일致성과 오류 감소 측면에서 얼마나 향상되는가? 이 과정에서 참여도 측면에서 어떤 상호보완적 관계가 발생하는가?
• RQ4 이전 반복에서 생성된 모델 응답을 학습 타겟으로 사용하는(디스티illation) 방식이 인간 애너테이션 응답을 사용하는 것보다 유사하거나 더 나은 성능을 낼 수 있는가?
• RQ5 다양한 모델 아키텍처와 디코딩 전략은 실시간 배포 환경에서 사실적 일치성, 다양성, 플레이어 즐거움 사이의 균형에 어떻게 영향을 미치는가?

주요 결과

• 전통적인 커스터마이징 방식 대비 데이터 수집 비용을 1/5로 줄였으며, 지급 보상이 아닌 내재된 플레이어 동기 부여에 의해 데이터 수집이 이루어졌다.
• 게임에서 생성된 인간 기반 데이터로 미세조정한 모델은 모델이 생성한 응답만으로 학습한 경우 대비 WILD 검증 세트에서 Hits@1/20가 12.5% 상대적 향상되었다.
• 더 큰 모델(LW622M)은 더 작은 모델(LW90M) 대비 모순 오류를 24% 감소시키고 주제 이탈 응답을 30% 감소시켜 사실적 일관성이 뛰어나다는 것을 입증하였다.
• 사실적 정확도 향상에도 불구하고 더 큰 모델은 더 작은 모델 대비 반복적 또는 지루하다는 평가를 2.2배 더 자주 받았으며, 이는 품질과 참여도 사이의 상호보완적 관계를 시사한다.
• 모델 성능 향상과 함께 플레이어의 지속 참여율도 증가하여, 더 나은 대화 품질이 실시간 시스템에서 사용자 유지를 이끄는 것을 입증하였다.
• 실제 플레이어 상호작용에서 유도된 WILD 데이터셋은 모델이 생성한 응답보다 더 효과적이었으며, WILD 검증 세트에서 Hits@1/20 점수가 12.5% 높았다.