[논문 리뷰] Proto: A Neural Cocktail for Generating Appealing Conversations

Sougata Saha, Souvik Das외 3명|arXiv (Cornell University)|2021. 09. 06.

Topic Modeling참고 문헌 36인용 수 5

한 줄 요약

Proto는 대화 주제가 다양한 열린 도메인 대화에서 일관되고 공감적이고 사실에 기반한 응답을 생성하기 위해 신경망과 규칙 기반 모듈을 통합한 신경 대화 시스템이다. 대규모 지식 검색, 앙상블 신경 생성기, 재순서 정렬기, 결정론적 응답 전략을 조합함으로써 Proto는 Alexa Prize 경쟁에서 높은 사용자 참여도와 일관된 성능을 달성했으며, 열린 도메인 대화형 AI에서 하이브리드 아키텍처의 효과성을 입증했다.

ABSTRACT

In this paper, we present our Alexa Prize Grand Challenge 4 socialbot: Proto. Leveraging diverse sources of world knowledge, and powered by a suite of neural and rule-based natural language understanding modules, state-of-the-art neural generators, novel state-based deterministic generators, an ensemble of neural re-rankers, a robust post-processing algorithm, and an efficient overall conversation strategy, Proto strives to be able to converse coherently about a diverse range of topics of interest to humans, and provide a memorable experience to the user. In this paper we dissect and analyze the different components and conversation strategies implemented by our socialbot, which enables us to generate colloquial, empathetic, engaging, self-rectifying, factually correct, and on-topic response, which has helped us achieve consistent scores throughout the competition.

연구 동기 및 목표

• 다양한 주제에서 높은 일관성과 참여도를 갖춘 인간과 유사한 대화를 수행할 수 있는 소셜봇을 개발하는 것.
• 열린 도메인 대화 시스템에서 자연스럽고 구어체적이며 공감적인 응답을 생성하는 데 도전하는 것.
• 구조화된 지식(위키데이터)과 코칭된 사실을 통합함으로써 사실 정확성과 주제 깊이를 향상시키는 것.
• 사용자 특성 기억 및 정서적 반응 능력을 통해 사용자 경험을 향상시키는 것.
• 생성기 사용과 주제 전환 균형을 조절함으로써 대화 흐름과 길이를 최적화하는 것.

제안 방법

• 사용자 이름, 선호도 등 사용자 고유의 속성뿐만 아니라 의도, 감성 등을 추출하기 위해 신경망과 규칙 기반 자연어 이해 모듈의 세트를 활용한다.
• 사람 대 사람 대화 데이터로 훈련된 앙상블 신경 응답 생성기를 활용하여 자연스럽고 구어체적이며 공감적인 응답을 생성한다.
• Wikidata와 스크래핑한 흥미로운 사실에 기반한 Elasticsearch 색인을 사용하여 저지연으로 관련성 있는 사실적이고 흥미로운 콘텐츠를 검색한다.
• 대화 맥락에 기반하여 최상의 응답을 선택하고 개선하기 위해 신경망 재순서 정렬기의 앙상블과 후처리 모듈을 적용한다.
• 심층적이고 논리적이며 주제가 진전되는 대화를 가능하게 하기 위해 결정론적 생성기와 주제 전환 모듈을 통합한다.
• 상태 기반 전략을 활용하여 대화 흐름을 관리하며, 키워드 기반 트리거와 맥락 인식 기반 진행을 통해 주제 전환을 유도한다.

실험 결과

연구 질문

• RQ1 신경망과 규칙 기반 구성 요소를 조합한 하이브리드 아키텍처가 열린 도메인 대화에서 응답 품질과 일관성에 어떻게 기여하는가?
• RQ2 사실 기반 지식 기반과 코칭된 흥미로운 사실은 참여도와 사실 정확성 향상에 어떤 역할을 하는가?
• RQ3 정서적 반응 능력과 개인화(예: 사용자 선호도 기억)는 사용자 승인 평가에 어떻게 영향을 미치는가?
• RQ4 대화 길이와 주제 다양성은 사용자 만족도와 어느 정도 상관관계가 있는가?
• RQ5 다양한 응답 생성기가 전체 시스템 성능과 사용자 인식에 어떻게 기여하는가?

주요 결과

• 신경 앙상블 생성기는 템플릿 기반 응답보다 자연스럽고 인간다운 성능을 보여, 사전에 작성된 행동의 인식을 감소시켰다.
• Proto DRG(결정론적 응답 생성기)는 예선과 결선 모두에서 대부분의 응답을 생성했지만, 결선 동안 신경 생성기의 사용 빈도가 증가했다.
• 대화 길이와 사용자 평가 사이에는 임계값까지 양의 상관관계가 있었으며, 이를 초과하면 반복적이거나 중복된 주제로 인해 평가가 하락했다.
• 전이 생성기나 QA 기반 생성기의 높은 사용 빈도는 평가와 부정적 상관관계가 있었으며, 이는 갑작스러운 주제 전환이나 너무 긴 응답으로 인한 것으로 보인다.
• OLS 회귀 분석에서 계수 분석 결과 NRG(신경 응답 생성기)는 긍정적인 영향을 미쳤고, QA 및 전이 생성기는 부정적인 계수를 보였으며, 이는 사용자가 이들의 출력에 만족하지 못한다는 것을 시사한다.
• 재순서 정렬기와 후처리 모듈은 응답 품질을 향상시키고 모순되거나 주제에서 벗어난 출력을 줄여 시스템 성능을 향상시켰다.