[논문 리뷰] A Response Retrieval Approach for Dialogue Using a Multi-Attentive Transformer

Matteo Antonio Senese, Alberto Benincasa외 2명|arXiv (Cornell University)|2020. 12. 15.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 목표 지향적이고 다중 모odal 대화 시스템에서 사용자 요청과 참조된 제품을 조건으로 삼아 응답 검색을 위한 다중 주의(multi-attentive) 트랜스포머 모델을 제안한다. 모델은 SIMMC 패션 데이터셋에서 모든 검색 메트릭(MRR, R@1, R@5, R@10, 평균 순위)에서 두 번째로 높은 성능을 기록하였으며, 의미 점수 통합을 통해 R@10에서 최대 43.9% 향상되고 MRR에서 최대 27.7% 향상된 베이스라인을 초월하였다.

ABSTRACT

This paper presents our work for the ninth edition of the Dialogue System Technology Challenge (DSTC9). Our solution addresses the track number four: Simulated Interactive MultiModal Conversations. The task consists in providing an algorithm able to simulate a shopping assistant that supports the user with his/her requests. We address the task of response retrieval, that is the task of retrieving the most appropriate agent response from a pool of response candidates. Our approach makes use of a neural architecture based on transformer with a multi-attentive structure that conditions the response of the agent on the request made by the user and on the product the user is referring to. Final experiments on the SIMMC Fashion Dataset show that our approach achieves the second best scores on all the retrieval metrics defined by the organizers. The source code is available at https://github.com/D2KLab/dstc9-SIMMC.

연구 동기 및 목표

• 쇼핑 어시스턴트 시나리오에서 장소적이고 다중 모달 대화에 대한 응답 검색 시스템을 개발하기 위해.
• 카탈로그에서 특정 제품 속성과 함께 응답을 지면화하는 데 도전하는 데에.
• 사용자 요청, 참조된 제품, 응답 후보자와 같은 다중 맥락 입력을 조건으로 삼아 검색 성능을 향상시키기 위해.
• SIMMC 패션 데이터셋을 기반으로 모델을 평가하기 위해, 이는 상호작용적이고 다중 모달이며 목표 지향적인 대화에 대한 벤치마크이다.
• 다중 주의 메커니즘이 응답 관련성과 검색 정확도를 향상시키는 데 효과적임을 입증하기 위해.

제안 방법

• 모델은 동결된 파라미터를 가진 BERT 기반 인코더를 사용하여 사용자 요청과 제품 속성을 인코딩한다.
• 단일 레이어의 트랜스포머 디코더를 사용하며, 세 개의 병렬 주의 헤드를 갖는다: 생성된 토큰에 대한 자체 주의, 사용자 요청에 대한 교차 주의, 참조된 제품에 대한 교차 주의.
• 디코더는 사용자 요청과 제품 임베딩에 주의를 기울여 응답 생성을 관련 맥락에 기반하게 한다.
• 의미 점수는 후보 응답을 사용자 요청 및 제품 속성과 비교하여 계산되며, 이는 검색 정확도를 향상시킨다.
• 최종 응답 점수는 디코더의 교차 주의 점수와 의미 점수의 가중 합으로 계산된다.
• 모델은 대조 학습 목표를 사용하여 SIMMC 패션 데이터셋에서 엔드 투 엔드로 미세조정되어 정확한 응답의 순위를 최대화한다.

실험 결과

연구 질문

• RQ1 다중 주의 트랜스포머 아키텍처는 다중 모달이고 목표 지향적인 대화 설정에서 가장 적절한 응답을 효과적으로 검색할 수 있는가?
• RQ2 사용자 요청과 참조된 제품에 모두 기반하여 응답 검색을 조건화할 경우 검색 성능이 어떻게 향상되는가?
• RQ3 요청 및 제품 임베딩을 기반으로 한 의미 점수 통합이 검색 메트릭에 어떤 영향을 미치는가?
• RQ4 제안된 모델은 SIMMC 패션 벤치마크에서 강력한 베이스라인 및 최첨단 방법과 비교하여 어떻게 성과를 내는가?
• RQ5 다중 주의 메커니즘은 맥락 기반 지도력과 응답 관련성에 얼마나 기여하는가?

주요 결과

• 공식 테스트-std 스플릿에서 모델은 MRR가 0.390으로 두 번째로 높은 성능을 기록하였으며, 베이스라인 대비 27.7% 향상되었다.
• 테스트-std 세트에서 R@1은 26.7%를 기록하여, 베이스라인 대비 22.2% 향상되었다.
• 테스트-dev 스플릿에서 의미 점수 통합을 사용한 모델은 MRR가 0.419를 기록하여, 이를 통합하지 않은 버전 대비 2.1% 향상되었다.
• 테스트-dev에서 R@5는 55.9%를 기록하였고, 테스트-std에서는 52.1%를 기록하여, 베이스라인을 크게 능가하였다.
• 테스트-dev에서 평균 순위(Mean Rank)는 베이스라인의 27.4에서 우리 모델의 13.6로 크게 향상되어, 정확한 응답의 평균 순위가 크게 감소함을 나타냈다.
• 모든 다섯 가지 평가 메트릭(MRR, R@1, R@5, R@10, Mean Rank)에서 두 스플릿 모두에서 두 번째로 높은 성능을 기록하여 종합적으로 두 번째로 높은 성능를 달성하였다.