[논문 리뷰] Alquist 3.0: Alexa Prize Bot Using Conversational Knowledge Graph

Jan Pichl, Petr Marek외 4명|arXiv (Cornell University)|2020. 11. 06.

Topic Modeling참고 문헌 14인용 수 7

한 줄 요약

Alquist 3.0은 대화 지식 그래프와 인접 쌍 기반 아키텍처를 도입하여 개방형 대화 시스템의 일관성과 유연성을 향상시킨다. 짧고 모듈화된 대화 단위를 동적으로 연결하고 사용자가 제공한 지식을 지식 그래프에 지속 저장함으로써, 응답의 일관성 향상과 지연 시간 감소를 달성하였으며, 배치 처리와 융합된 추론 모델을 통해 NLU 지연 시간을 204ms로 줄였다.

ABSTRACT

The third version of the open-domain dialogue system Alquist developed within the Alexa Prize 2020 competition is designed to conduct coherent and engaging conversations on popular topics. The main novel contribution is the introduction of a system leveraging an innovative approach based on a conversational knowledge graph and adjacency pairs. The conversational knowledge graph allows the system to utilize knowledge expressed during the dialogue in consequent turns and across conversations. Dialogue adjacency pairs divide the conversation into small conversational structures, which can be combined and allow the system to react to a wide range of user inputs flexibly. We discuss and describe Alquist's pipeline, data acquisition and processing, dialogue manager, NLG, knowledge aggregation, and a hierarchy of adjacency pairs. We present the experimental results of the individual parts of the system.

연구 동기 및 목표

• 예측할 수 없는 사용자 입력에 의해 붕괴되는 고정된 대화 구조의 한계를 해결하기 위해.
• 대화 중에 표현된 지식을 저장하고 재사용하여 대화의 일관성과 시스템의 내구성을 향상시키기 위해.
• 모델 융합과 배치 처리를 통해 정확도를 유지하면서도 NLU 컴포onent의 지연 시간을 줄이기 위해.
• 중앙 집중식 주제 전환 모듈에 의존하지 않고도 동적이고 모듈화된 대화 흐름을 가능하게 하기 위해.
• 템플릿 기반 응답과 새로운 생성 모델링 기법을 융합하여 더 적응적이고 몰입감 있는 대화 경험을 만들기 위해.

제안 방법

• 세션 간 외부 지식과 사용자가 제공한 정보를 모두 저장하고 검색할 수 있는 대화 지식 그래프를 활용한다.
• 소규모이고 재사용 가능한 대화 단위인 대화 인접 쌍을 설계하여 민첩하고 모듈화된 대화 구성이 가능하도록 한다.
• 단일 대화 오토마타를 대체로, 인접 쌍 기반의 하위 대화를 동적으로 연결하는 메커니즘을 도입한다.
• 융합된 계산 그래프를 갖춘 다중 모델 NLU 파이프라인을 구현하여 병렬 추론을 가능하게 하고 지연 시간을 줄인다.
• 음성 가설과 세그먼트의 배치 처리를 통해 GPU 활용도를 향상시키고 종단 간 응답 시간을 감소시킨다.
• BERT 기반의 세그먼테이션을 포함한 최신 NLU 모델을 통합하면서도 저지연 추론을 최적화한다.

실험 결과

연구 질문

• RQ1 다양하고 예측할 수 없는 사용자 입력에 직면했을 때 대화 시스템이 어떻게 일관성과 참여도를 유지할 수 있는가?
• RQ2 대화 지식 그래프는 개방형 대화에서 사용자가 제공한 정보의 유지 및 재사용에 얼마나 기여하는가?
• RQ3 소규모이고 모듈화된 대화 단위(인접 쌍)가 유연성과 내구성 측면에서 단일 대화 구조를 능가할 수 있는가?
• RQ4 다수의 딥 러닝 모델을 통합할 때 저지연 NLU 추론을 유지하기 위해 어떤 최적화가 필요한가?
• RQ5 템플릿 기반 응답과 초기 단계의 생성 모델의 조합이 장시간 대화 시나리오를 처리하는 데 얼마나 효과적인가?

주요 결과

• 대화 지식 그래프는 사용자가 제공한 사실, 예를 들어 형제 수와 같은 정보를 세션 간 성공적으로 저장하고 검색하여 맥락 인식 응답을 가능하게 하였다.
• 인접 쌍의 사용으로 주제 전환 모듈이 필요 없어졌으며, 이로 인해 이전 버전에서 발생하던 잘못 분류로 인한 오류율이 44% 감소하였다.
• GPU 가속, 입력 배치 처리, 다중 모델의 단일 계산 그래프 융합을 통해 NLU 지연 시간이 835ms에서 204ms로 감소하였다.
• 생산 수준 하드웨어에서 평균 NLU 지연 시간이 204ms를 기록하여 500ms 목표를 충족시키고 실시간 상호작용을 가능하게 하였다.
• 모듈화된 아키텍처 덕분에 사용자가 예상된 대화 경로에서 벗어나도 일관되고 맥락에 부합하는 응답을 생성할 수 있었다.
• 생성 모델에 대한 초도 실험 결과는 템플릿 기반 응답과 조합했을 때 장시간 대화 시나리오를 처리하는 데 유망한 성과를 보였지만, 아직 생산 환경에 적합하지 않다.