[논문 리뷰] Gunrock 2.0: A User Adaptive Social Conversational System

Kai-Hui Liang, Austin Chau외 9명|arXiv (Cornell University)|2020. 11. 17.

Topic Modeling참고 문헌 40인용 수 20

한 줄 요약

Gunrock 2.0은 사용자 프로필에 따라 적응하는 오픈도메인 사회적 대화 시스템으로, 명시적 개체 탐지/링킹, 대화 행위 예측 등의 신경망 기반 NLU 모듈과 사용자 성별 및 성격에 따라 주제 선택을 적응하는 계층적이고 프로필 인식 대화 관리자로 사용자 이해를 향상시킨다. 7일 동안 평균 사용자 평점 3.73을 기록하며, 템플릿 기반 및 신경망 기반 생성 모델을 통합함으로써 이전 버전을 능가한다.

ABSTRACT

Gunrock 2.0 is built on top of Gunrock with an emphasis on user adaptation. Gunrock 2.0 combines various neural natural language understanding modules, including named entity detection, linking, and dialog act prediction, to improve user understanding. Its dialog management is a hierarchical model that handles various topics, such as movies, music, and sports. The system-level dialog manager can handle question detection, acknowledgment, error handling, and additional functions, making downstream modules much easier to design and implement. The dialog manager also adapts its topic selection to accommodate different users' profile information, such as inferred gender and personality. The generation model is a mix of templates and neural generation models. Gunrock 2.0 is able to achieve an average rating of 3.73 at its latest build from May 29th to June 4th.

연구 동기 및 목표

• 사용자 프로필(예: 유추된 성별 및 성격 등)을 고려해 개인화된 대화를 제공하는 사회적으로 유인적인 오픈도메인 대화 에이전트를 개발하는 것.
• 세분화된 의도 탐지, 명시적 개체 탐지 및 연결 등의 고급 신경망 기반 NLU 모듈을 통합하여 오픈도메인 대화 시스템에서 사용자 이해도를 향상시키는 것.
• 사용자 프로필에 기반해 동적으로 주제를 선택하고 일관성 있고 매력적인 대화를 유지하는 대화 관리 시스템을 설계하는 것.
• 템플릿 기반 및 신경망 기반 생성 모델을 조합하여 응답 품질을 향상시키고, 도메인 외부 질문에 효과적으로 대응하는 것.
• 대화 연구에서 실제 사용자 상호작용 데이터의 부족을 해결하기 위해 대규모 실세계 평가를 위해 Amazon Alexa Prize 플랫폼을 활용하는 것.

제안 방법

• 이벤트 기반으로 확장 가능한 아키텍처를 위해 Amazon Conversational Bot Toolkit(Cobot)과 AWS Lambda를 사용하며, DynamoDB와 Redis를 통해 상태 관리를 수행한다.
• 사용자 발화를 자동 음성 인식(ASR), Amazon의 공격적 발화 분류기 및 정규표현식을 활용한 부적절한 발화 탐지, 그리고 저신뢰도 발화에 대한 재요청 기능을 포함한 다단계 NLU 파이프라인을 처리한다.
• 구성문 분석 및 KeyPhrase 모델을 활용해 말하는 발화에서 핵심 어휘를 추출하여, 채움말과 겹치는 어휘를 걸러내어 원시 명사구보다 정밀도를 향상시킨다.
• 다양한 도메인(예: 영화, 음악, 스포츠) 간 주제 전환을 처리하고, 질문 탐지, 오류 처리, 확인 응답을 생성 기반 모델을 통해 지원하는 계층적 대화 관리자 통합.
• 사용자 프로필 데이터(예: 유추된 성별, 대화 행위 분포 등)를 활용해 사용자 적응형 주제 선택을 적용하여 대화 흐름을 개인화한다.
• 일반적이고 높은 빈도로 발생하는 의도에 대해 템플릿 기반 생성을 적용하고, 신경망 기반 생성 모델을 조합하여 응답의 다양성을 향상시키고 드문 또는 도메인 외 질문에 효과적으로 대응한다.

실험 결과

연구 질문

• RQ1 사회적 대화 시스템은 어떻게 사용자 프로필(예: 유추된 성별 및 성격 등)에 따라 주제 선택을 적응시켜 참여도를 향상시킬 수 있는가?
• RQ2 명시적 개체 탐지 및 연결, 대화 행위 예측 등의 신경망 기반 NLU 모듈이 규칙 기반 또는 기본 기반 접근 방식에 비해 오픈도메인 대화 시스템에서 사용자 이해도 향상에 얼마나 기여하는가?
• RQ3 템플릿과 신경망 기반 생성 모델을 조합한 하이브리드 생성 모델은 일반적이거나 일관성 없는 응답을 줄이고도 확장성과 낮은 지연 시간을 유지할 수 있는가?
• RQ4 사용자가 제안한 주제에 대한 수용도는 전체 시스템 성능과 사용자 만족도 평점과 어떻게 관련이 있는가?
• RQ5 주제의 인기나 평점 지표와는 별개로 대화 흐름의 품질은 사용자 인식에 어떤 역할을 하는가?

주요 결과

• Gunrock 2.0은 예선의 마지막 주(5월 29일 ~ 6월 4일) 동안 평균 사용자 만족도 평점 3.73점(5점 만점)을 기록하여 이전 버전의 3.62점보다 뛰어났다.
• 사용자 수용률이 가장 높은 주제 모듈은 '동물'(75%)이었고, 이어 '음악'(72%)이 뒤이었다. 이는 사용자들이 이 분야에 높은 관심을 보임을 시사한다.
• 사용자 수용률이 가장 낮았음에도 불구하고(40%), '패션' 모듈은 가장 높은 총점 평점을 기록했다. 이는 대화 흐름의 매력성과 관련된 품질이 주제의 인기보다 더 중요함을 보여준다.
• KeyPhrase 모델의 출력 결과는 구성문 분석 기반 명사구보다 정밀도가 높았으며, 채움말(예: '우와')과 겹치는 어휘를 줄여 엔티티 연결 효율성을 향상시켰다.
• 생성 기반의 확인 응답 및 후속 질문 응답 모델은 반복을 줄이고 맥락의 관련성을 높여 사용자 참여도를 향상시켰다.
• 사용자 프로필 데이터를 기반으로 주제 선택을 개인화하는 사용자 적응형 대화 관리 시스템은 개인화된 지속 가능한 대화 품질 향상에 기여했다.