[논문 리뷰] Combining Search with Structured Data to Create a More Engaging User Experience in Open Domain Dialogue

Kevin K. Bowden, Shereen Oraby외 3명|arXiv (Cornell University)|2017. 09. 15.

Topic Modeling참고 문헌 28인용 수 8

한 줄 요약

이 논문은 검색 결과와 구조화된 데이터(예: IMDb에서의 데이터)를 결합하여 실시간으로 일관되고 매력적인 응답을 생성하는 하이브리드 접근법을 제시한다. 두 소스에서 유도된 의미 관계를 통합함으로써, SlugBot은 Alexa Prize 준결승 대회에서 평균 대화 길이 8:17분을 기록하여 혼합 주도 대화에서 대화의 일관성과 주도적 행동이 향상되었음을 입증하였다.

ABSTRACT

The greatest challenges in building sophisticated open-domain conversational agents arise directly from the potential for ongoing mixed-initiative multi-turn dialogues, which do not follow a particular plan or pursue a particular fixed information need. In order to make coherent conversational contributions in this context, a conversational agent must be able to track the types and attributes of the entities under discussion in the conversation and know how they are related. In some cases, the agent can rely on structured information sources to help identify the relevant semantic relations and produce a turn, but in other cases, the only content available comes from search, and it may be unclear which semantic relations hold between the search results and the discourse context. A further constraint is that the system must produce its contribution to the ongoing conversation in real-time. This paper describes our experience building SlugBot for the 2017 Alexa Prize, and discusses how we leveraged search and structured data from different sources to help SlugBot produce dialogic turns and carry on conversations whose length over the semi-finals user evaluation period averaged 8:17 minutes.

연구 동기 및 목표

• 사용자가 고정된 정보 필요성을 추구하지 않는 개방형, 혼합 주도, 다단계 대화에서 대화의 일관성을 유지하는 데 도전하는 것.
• 비구조화된 검색 결과와 구조화된 지식 소스를 모두 활용하여 맥락에 적절하고 스타일이 다양한 응답을 생성할 수 있는 시스템을 개발하는 것.
• 사전에 정의된 작업이나 정보 목표에 의존하지 않고도 장기간의 대화에서 주도적 행동을 취하고 참여를 유지할 수 있는 대화형 에이전트를 가능하게 하는 것.
• 개방형 대화 시스템에서 자연어 생성을 위한 검색과 구조화된 데이터의 통합 방식을 탐색하는 것.

제안 방법

• 시스템은 영화나 배우와 같은 엔티티를 식별하기 위해 명명된 실체 인식을 사용하며, IMDb와 같은 구조화된 데이터 소스에 연결하여 사실적 속성(예: 평점, 출연진)을 제공한다.
• 구조화된 형식으로 제공되지 않는 내용은 웹 검색을 통해 검색하며, 핵심 문장(예: 줄거리 요약의 첫 문장)을 선택하여 응답을 구성한다.
• 공명어 해결 및 대명사 사용을 통해 대화의 일관성을 유지하여, '그것'이나 '영화'와 같은 참조가 이전 엔티티와 정확히 연결되도록 한다.
• 템플릿 기반 응답과 검색 결과에서 선택한 문장을 조합하는 하이브리드 생성 전략을 통해 출력의 융통성과 자연스러움을 확보한다.
• 내용 가용성과 관련성에 따라 구조화된 데이터와 검색 결과 중에서 동적으로 선택하며, 더 풍부하고 정보량이 많은 응답을 우선시하는 데 중점을 둔다.
• 미래 작업으로는 강화 학습과 대화 품질 메트릭(예: 응답 지연, 어휘 다양성, 대화 액션 n-gram)을 사용한 순위 함수 개발을 통해 응답 선택 최적화를 시도할 예정이다.

실험 결과

연구 질문

• RQ1 어떻게 하여 검색 결과와 구조화된 데이터를 효과적으로 융합하여 실시간으로 개방형 대화에서 일관성을 유지할 수 있는가?
• RQ2 혼합 주도 대화 중 대화의 일관성을 유지하는 데 있어 엔티티 간 의미 관계는 어떤 역할을 하는가?
• RQ3 고정된 작업이나 정보 필요성이 없이도 대화형 에이전트가 어떻게 주도적 행동을 취하고 참여를 유지할 수 있는가?
• RQ4 구조화된 데이터와 검색 결과가 매력적인 응답을 생성하는 데 있어 상대적인 강점과 한계는 무엇인가?
• RQ5 템플릿과 검색된 문장을 융합한 하이브리드 생성 모델이 개방형 시스템에서 응답 품질과 대화 길이를 향상시킬 수 있는가?

주요 결과

• SlugBot은 Alexa Prize 준결승 대회 평가에서 평균 대화 길이 8:17분을 기록하여 사용자 참여가 지속됨을 보여주었다.
• IMDb와 같은 구조화된 데이터 소스는 신뢰할 수 있고 간결한 사실(예: 배우 이름, 평점)을 제공했지만, 빈약하여 깊이 있는 후속 상호작용을 지원하기에는 부족했다.
• 검색 결과는 구조화된 데이터가 부족하거나 누락된 경우 특히 줄거리 요약 등 더 포괄적이고 맥락적으로 관련성이 높은 콘텐츠를 자주 제공했다.
• 사용자가 간접적 참조를 사용하더라도, 공명어 해결과 엔티티 일관성 유지로 인해 시스템은 정확한 참조를 유지하며 대화의 일관성을 향상시켰다.
• 템플릿을 사용한 구조화된 데이터와 검색 결과에서 선택한 문장을 조합하는 하이브리드 접근법은 단독으로 사용할 경우보다 더 매력적이고 자연스러운 응답을 생성했다.
• 저자들은 향후 여러 구조화된 데이터 소스를 통합 지식 기반으로 통합함으로써 대화 품질과 확장성 향상이 가능할 것으로 예측하고 있다.