[논문 리뷰] Sequential Attention-based Network for Noetic End-to-End Response Selection

Qian Chen, Wen Wang|arXiv (Cornell University)|2019. 01. 09.

Topic Modeling참고 문헌 26인용 수 29

한 줄 요약

이 논문은 다단계 대화에서 엔드 투 엔드 다단계 응답 선택을 위해 증강된 순차적 추론 모델(ESIM) 기반의 순차적 매칭 모델을 제안한다. 이는 맥락 발화를 하나의 시퀀스로 연결하여 문장 쌍 분류 문제로 간주함으로써 작업을 처리한다. 이 방법은 이전의 계층 기반 모델들을 모두 능가하며, Ubuntu 및 전자상거래 벤치마크에서 모두 새로운 최고 성능을 기록했으며, Ubuntu에서 최대 79.6% R@1, 전자상거래에서 57.0% R@1의 성과를 달성했다.

ABSTRACT

The noetic end-to-end response selection challenge as one track in Dialog System Technology Challenges 7 (DSTC7) aims to push the state of the art of utterance classification for real world goal-oriented dialog systems, for which participants need to select the correct next utterances from a set of candidates for the multi-turn context. This paper describes our systems that are ranked the top on both datasets under this challenge, one focused and small (Advising) and the other more diverse and large (Ubuntu). Previous state-of-the-art models use hierarchy-based (utterance-level and token-level) neural networks to explicitly model the interactions among different turns' utterances for context modeling. In this paper, we investigate a sequential matching model based only on chain sequence for multi-turn response selection. Our results demonstrate that the potentials of sequential matching approaches have not yet been fully exploited in the past for multi-turn response selection. In addition to ranking the top in the challenge, the proposed model outperforms all previous models, including state-of-the-art hierarchy-based models, and achieves new state-of-the-art performances on two large-scale public multi-turn response selection benchmark datasets.

연구 동기 및 목표

• 목표 지향 대화 시스템에서 다단계 응답 선택을 위한 더 효율적이고 효과적인 접근법을 개발하기 위해.
• 순차적 매칭 모델이 응답 선택 작업에서 복잡한 계층 기반 모델들을 능가할 수 있는지 조사하기 위해.
• 고정 길이 잘라내기로 인한 과도한 영점 패딩과 높은 계산 비용과 같은 계층 기반 모델의 한계를 해결하기 위해.
• 암묵적이고 시퀀스 수준의 맥락-응답 상호작용 모델링이 명시적이고 계층적인 상호작용 모델링을 능가할 수 있음을 입증하기 위해.
• 공개 벤치마크에서 최고 성능을 달성하고 DSTC7 노에틱 엔드 투 엔드 응답 선택 도전 대회에서 우승하기 위해.

제안 방법

• 모델은 다단계 응답 선택을 이진 분류 작업으로 변환한다: 연결된 맥락 시퀀스에 대해 후보 응답이 올바른 다음 발화인지 판단하는 것이다.
• ESIM 아키텍처를 사용하며, 입력 인코딩, 교차 어텐션을 통한 局소 매칭, 양방향 LSTM 레이어를 이용한 매칭 조합을 포함한다.
• 국소 매칭은 맥락과 응답 토큰 간의 토큰 수준 어텐션을 계산하여 세밀한 상호작용을 포착한다.
• 매칭 조합은 국소 매칭 표현을 양방향 LSTM을 통해 요약하여 전반적인 맥락-응답 상호작용 표현을 생성한다.
• 최종 표현에 대해 소프트맥스 분류를 수행함으로써 엔드 투 엔드로 훈련하고 추론을 수행한다.
• 다양한 변형(예: 맥락 복원 유무, 역순 맥락)을 조합하는 앙상블 전략을 사용하여 성능을 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 순수한 순차적 매칭 모델이 다단계 응답 선택에서 최고 성능을 기록한 계층 기반 모델을 능가할 수 있는가?
• RQ2 시퀀스 수준 어텐션을 통한 맥락-응답 상호작용의 암묵적 모델링이 발화 및 토큰 상호작용의 명시적 계층 모델링을 능가하는가?
• RQ3 이러한 방법은 계층 기반 모델 대비 계산 비용과 영점 패딩 오버헤드를 어느 정도 줄일 수 있는가?
• RQ4 외부 지식이나 노이즈가 많은 후보 풀이 있는 다양한 벤치마크에서 모델의 성능은 어떠한가?
• RQ5 Ubuntu 및 전자상거래와 같은 다양한 대화 도메인에서 모델이 효과적으로 일반화되는가?

주요 결과

• ESIM 기반 순차적 모델은 DSTC7 노에틱 엔드 투 엔드 응답 선택 도전 대회에서 Advising 및 Ubuntu 데이터셋에서 모두 최상위 순위를 기록했다.
• Lowe’s Ubuntu 벤치마크에서 모델은 79.6% R@1, 89.4% R@2, 97.5% R@5를 기록했으며, 이는 이전 최고 성능(DAM 모델)보다 각각 2.9%, 2.0%, 0.6% 향상된 성과였다.
• 전자상거래 벤치마크에서 모델은 57.0% R@1, 76.7% R@2, 94.8% R@5를 기록했으며, 이는 이전 최고 성능(DUA 모델)보다 각각 6.9%, 6.7%, 2.7% 향상된 성과였다.
• 제거 실험 결과, 국소 매칭 및 매칭 조합 구성 요소가 모두 필수적임을 확인했으며, 이들을 제거할 경우 성능이 크게 저하됨을 확인했다.
• ESIM 모델의 다양한 변형(예: 맥락 복원 유무, 역순 맥락)을 앙상블한 결과 일관된 성능 향상이 있었으며, Ubuntu 서브태스크 4에서 0.909 R@10 및 0.6771 MRR를 달성했다.
• 외부 지식(예: Linux 매뉴얼 페이지)을 통합한 경우에도 모델은 강건성을 유지했으며, 성능 향상이 미미해 내재된 모델링 능력이 뛰어나다는 것을 시사했다.