[논문 리뷰] Improving Dialogue State Tracking by Discerning the Relevant Context

Sanuj Sharma, Prafulla Kumar Choubey외 1명|arXiv (Cornell University)|2019. 04. 04.

Topic Modeling참고 문헌 15인용 수 4

한 줄 요약

이 논문은 문맥 인식 메커니즘을 사용하여 비연속적이고 관련성이 높은 이전 대화 문장을 식별하고, 관련성이 높은 시스템 응답을 게이팅하는 방식으로 정확도를 향상시키는 새로운 대화 상태 추적(DST) 프레임워크를 제안한다. 과거 슬롯-값 변화를 활용하고 시스템 응답에 대한 게이팅 메커니즘을 적용함으로써, WoZ 2.0과 MultiWoZ 2.0에서 각각 GLAD 대비 2.75% 및 2.36%의 절대적 성능 향상을 달성하면서도 GLAD의 1/3에 불과한 파라미터를 사용한다.

ABSTRACT

A typical conversation comprises of multiple turns between participants where they go back-and-forth between different topics. At each user turn, dialogue state tracking (DST) aims to estimate user's goal by processing the current utterance. However, in many turns, users implicitly refer to the previous goal, necessitating the use of relevant dialogue history. Nonetheless, distinguishing relevant history is challenging and a popular method of using dialogue recency for that is inefficient. We, therefore, propose a novel framework for DST that identifies relevant historical context by referring to the past utterances where a particular slot-value changes and uses that together with weighted system utterance to identify the relevant context. Specifically, we use the current user utterance and the most recent system utterance to determine the relevance of a system utterance. Empirical analyses show that our method improves joint goal accuracy by 2.75% and 2.36% on WoZ 2.0 and MultiWoZ 2.0 restaurant domain datasets respectively over the previous state-of-the-art GLAD model.

연구 동기 및 목표

• 사용자가 현재 문장에 명시적으로 기재되지 않은 과거 목표를 암시적으로 참조하는 경우를 다루기 위한 도전 과제를 해결하기 위해.
• 대화의 최근성에만 의존하는 기존 접근 방식이 비연속적이고 관련성이 높은 이전 맥락을 포착하지 못하는 한계를 극복하기 위해.
• 가장 관련성이 높은 과거 문장과 시스템 응답만을 식별하고 통합함으로써 노이즈와 파라미터 부담을 줄이고 DST 성능을 향상시키기 위해.
• 선택적 맥락 통합을 사용하는 경량 모델이 GLAD와 같은 더 큰 최신 기술 모델을 능가할 수 있음을 입증하기 위해.

제안 방법

• 모델는 각 슬롯-값이 수정된 마지막 전화에서의 변화를 추적함으로써 관련성이 높은 이전 맥락을 식별하여, 암시적 참조를 담고 있을 수 있는 비연속적 문장을 검색할 수 있도록 한다.
• 게이팅 메커니즘은 현재 사용자 문장과 가장 최근의 시스템 응답 간의 유사도를 계산하여 정보성 있는 시스템 응답을 선택적으로 통합한다.
• 프레임워크는 양방향 LSTM 인코더와 자기주의 어텐션을 사용하여 사용자 및 시스템 문장을 표현하며, 이는 관련 히스토리 턴을 검색하고 통합하는 데 도움이 되는 문맥 인식 메커니즘으로 강화된다.
• 모델는 현재 사용자 문장, 가장 관련성이 높은 과거 사용자 문장, 게이팅된 시스템 문장을 조합한 융합 표현을 사용하여 상태 추적 성능을 향상시킨다.
• 이 방법은 모듈식이므로, 기존 DST 시스템(예: GLAD)에 적용될 수 있으며, 최근성 기반 인코딩 대신 관련성 기반 맥락 선택 기능을 통합할 수 있다.
• 학습 가능한 스코어러를 사용하여 과거 문장과 슬롯-값의 관련성을 판단함으로써, 현재 슬롯 예측에 도움이 될 수 있는 요소들만 집중적으로 고려한다.

실험 결과

연구 질문

• RQ1 비연속적이고 관련성이 높은 이전 대화 문장을 식별함으로써, 최근성에 의존하는 것만으로는 부족한 대화 상태 추적 성능을 향상시킬 수 있는가?
• RQ2 현재 사용자 입력에 기반해 동적으로 관련성이 높은 시스템 응답을 선택하는 게이팅 메커니즘의 효과는 어떠한가?
• RQ3 선택적 맥락 통합을 사용하는 경량 모델이 GLAD와 같은 더 큰 복잡한 최신 기술 모델을 능가할 수 있는가?
• RQ4 관련 맥락을 통합함으로써 필요한 모델 파라미터 수를 얼마나 줄일 수 있으며, 이로 인해 정확도는 유지되거나 향상되는가?

주요 결과

• 제안된 방법은 WoZ 2.0 데이터셋에서 GLAD 대비 2.75% 향상된 공동 목표 정확도를 달성하였고, MultiWoZ 2.0 레스토랑 도메인에서는 2.36% 향상되었다.
• 기본 형태로 120만 개의 파라미터를 사용하며, 맥락과 게이팅을 통합한 경우 600만 개의 파라미터를 사용한다. 이는 GLAD(1700만 개)의 1/3에 불과하다.
• 참조 맥락 통합을 추가하면 공동 목표 정확도가 2.4% 향상되고, 게이팅 메커니즘을 추가하면 글로벌 biLSTM 베이스라인 대비 추가로 1.0% 향상된다.
• 모든 데이터셋에서 일관된 성능 향상이 나타났으며, 전환 요청 및 정보 제공 정확도를 포함한 모든 평가 지표에서 GLAD를 능가하는 성능을 보였다.
• 다양한 슬롯-값 공간을 가진 복잡하고 장문의 대화를 다룰 수 있는 데에 있어 강력한 성능을 보였으며, 더 도전적인 MultiWoZ 2.0 데이터셋에서도 뛰어난 결과를 보였다.
• 오차 전파로 인한 높은 변동성에도 불구하고, 안정적이고 유의미한 성능 향상이 유지되어 맥락 식별의 가치를 입증했다.