[논문 리뷰] Knowledge-incorporating ESIM models for Response Selection in Retrieval-based Dialog Systems

Jatin Ganhotra, Siva Sankalp Patel외 1명|arXiv (Cornell University)|2019. 07. 11.

Topic Modeling참고 문헌 24인용 수 5

한 줄 요약

이 논문은 검색 기반 대화 시스템에서 응답 선택을 위한 ESIM 모델의 개선된 버전인 K-ESIM과 T-ESIM을 제안한다. K-ESIM은 외부 지식을 통합하고, T-ESIM은 유사한 대화 맥락을 활용한다. Ubuntu 데이터셋에서 T-ESIM는 R@1이 64.3을 기록하여 기준 모델인 ESIM의 50.1 R@1을 크게 능가하며, 지식 통합과 맥락 유사성의 활용이 응답 선택 정확도 향상에 기여함을 보여준다.

ABSTRACT

Goal-oriented dialog systems, which can be trained end-to-end without manually encoding domain-specific features, show tremendous promise in the customer support use-case e.g. flight booking, hotel reservation, technical support, student advising etc. These dialog systems must learn to interact with external domain knowledge to achieve the desired goal e.g. recommending courses to a student, booking a table at a restaurant etc. This paper presents extended Enhanced Sequential Inference Model (ESIM) models: a) K-ESIM (Knowledge-ESIM), which incorporates the external domain knowledge and b) T-ESIM (Targeted-ESIM), which leverages information from similar conversations to improve the prediction accuracy. Our proposed models and the baseline ESIM model are evaluated on the Ubuntu and Advising datasets in the Sentence Selection track of the latest Dialog System Technology Challenge (DSTC7), where the goal is to find the correct next utterance, given a partial conversation, from a set of candidates. Our preliminary results suggest that incorporating external knowledge sources and leveraging information from similar dialogs leads to performance improvements for predicting the next utterance.

연구 동기 및 목표

• 외부 도메인 지식을 통합하여 검색 기반 대화 시스템에서의 응답 선택 성능을 향상시키기 위해.
• 학습 중 유사한 과거 대화 정보를 활용하여 예측 정확도를 향상시키기 위해.
• 기본 모델인 ESIM을 능가하는 엔드 투 엔드 훈련 가능한 모델을 개발하기 위해.
• 영향력 없는 선택 및 지식 보강 응답 순서 매기기와 같은 다양한 하위 작업에서 모델 성능을 평가하기 위해.
• 지식 표현 방식과 후보 감소 기법이 모델 일반화에 미치는 영향을 조사하기 위해.

제안 방법

• K-ESIM는 지식 텍스트에 대한 어텐션 메커니즘을 통해 비정형 외부 지식(예: Linux 매뉴얼 페이지)을 ESIM 아키텍처에 통합하여 확장한다.
• T-ESIM는 추론 중에 유사한 대화 기록을 검색하고 어텐션을 집중시켜 맥락 모델링을 향상시키는 타겟팅 어텐션 메커니즘을 도입한다.
• 모델들은 양방향 LSTM 레이어를 사용해 맥락과 후보를 인코딩하는 듀얼 인코딩 아키텍처를 사용하며, 상호작용 모델링을 수행하는 매칭 레이어를 거친다.
• 단어 표현은 사전 학습된 GloVe, word2vec 및 문자 수준 임베딩을 사용하며, DSTC7 데이터셋에서 미세 조정된다.
• 최종 분류를 위해 ReLU 활성화 함수를 사용하는 두 층의 피드포워드 네트워크와 시그모이드 출력을 사용하며, 이는 이진 교차 엔트로피 손실로 훈련된다.
• 평가 중에 후보 감소(CR) 기법을 적용하여 훈련 및 검증 데이터에서 중복 항목을 제거함으로써 일반화 및 공정성 향상을 도모한다.

실험 결과

연구 질문

• RQ1 검색 기반 대화 시스템에서 비정형 외부 지식을 통합하면 응답 선택 성능 향상에 기여하는가?
• RQ2 유사한 과거 대화 기록의 정보를 활용하면 모델이 올바른 다음 발화를 예측하는 데 능력이 향상되는가?
• RQ3 DSTC7 문장 선택 트랙의 여러 하위 작업에서 K-ESIM와 T-ESIM는 기준 모델인 ESIM보다 어떻게 비교되는가?
• RQ4 외부 지식이 희박하거나 잘 구조화되어 있지 않을 경우 지식 표현의 질이 모델 성능에 미치는 영향은 무엇인가?
• RQ5 후보 감소 및 IR 기반 후보 선별 기법은 모델 평가의 안정성과 성능 향상에 기여하는가?

주요 결과

• Ubuntu 데이터셋에서 T-ESIM는 Subtask 1에서 R@1이 64.3을 기록하여 기준 모델인 ESIM의 50.1 R@1을 크게 능가한다.
• K-ESIM는 Ubuntu Subtask 5 검증 세트에서 성능 향상을 보이며, ESIM의 43.76 R@1 및 0.5324 MRR 대비 각각 44.82 R@1 및 0.5452 MRR을 기록한다.
• T-ESIM-Sampled 및 T-ESIM-CR 변종은 Ubuntu Subtask 1에서 최고 성능을 기록하며, R@1이 64.3으로 후보 샘플링 및 감소 기법의 효과를 입증한다.
• Advising 데이터셋에서 K-ESIM는 Subtask 5에서 기준 모델인 ESIM보다 성능이 열 劣하며, 이는 현재 지식 표현 방식이 과목 정보에 잘 맞지 않는다는 것을 시사한다.
• 모델들은 Subtask 1과 Subtask 4에서 일관된 성능 향상을 보이며, 후보 집합에 올바른 응답이 존재하지 않을 경우를 탐지하는 데 있어 강건함을 입증한다.
• 지식 검색 및 후보 선별에 TF-IDF를 사용하는 것은 효과적이지만, 향후 연구에서는 더 나은 성능을 위한 신경망 기반 검색 방법을 탐색할 필요가 있다.