[논문 리뷰] Local Contextual Attention with Hierarchical Structure for Dialogue Act Recognition

Zhigang Dai, Jinhua Fu외 4명|arXiv (Cornell University)|2020. 03. 12.

Topic Modeling참고 문헌 34인용 수 13

한 줄 요약

이 논문은 대화 행위 인식을 위한 국소적 문맥 주의를 향상시키기 위해 학습 가능한 가우시안 편향을 갖춘 계층적 자기주도 주의 모델을 제안한다. 상대적 위치 정보를 사용하여 발화 간 의존성을 명시적으로 모델링한다. 이 방법은 온라인 및 오프라인 설정 모두에서 먼 발화로부터 오는 노이즈를 줄이고 문맥 모델링을 향상시켜 Switchboard에서 80.34% 및 DailyDialog에서 85.81%의 최신 기술 수준 정확도를 달성한다.

ABSTRACT

Dialogue act recognition is a fundamental task for an intelligent dialogue system. Previous work models the whole dialog to predict dialog acts, which may bring the noise from unrelated sentences. In this work, we design a hierarchical model based on self-attention to capture intra-sentence and inter-sentence information. We revise the attention distribution to focus on the local and contextual semantic information by incorporating the relative position information between utterances. Based on the found that the length of dialog affects the performance, we introduce a new dialog segmentation mechanism to analyze the effect of dialog length and context padding length under online and offline settings. The experiment shows that our method achieves promising performance on two datasets: Switchboard Dialogue Act and DailyDialog with the accuracy of 80.34\% and 85.81\% respectively. Visualization of the attention weights shows that our method can learn the context dependency between utterances explicitly.

연구 동기 및 목표

• 발화 간 노이즈가 많고 먼 의존성을 다루기 위해 국소적 문맥 관계를 모델링하는 것.
• 발화 간 상대적 위치 정보를 코딩하는 학습 가능한 가우시안 편향을 도입하여 자기주도 주의를 개선함으로써 성능을 향상시키는 것.
• 온라인 및 오프라인 설정에서 대화 길이와 문맥 패딩 길이가 모델 성능에 미치는 영향을 분석하는 것.
• 문맥 창 효과를 체계적으로 평가하기 위한 대화 분할 기법을 개발하는 것.
• 국소적 문맥 주의가 대화 행위 분류에서 모델의 강인성과 해석 가능성 향상에 기여하는지 입증하는 것.

제안 방법

• 자기주도 주의 기반의 발화 수준 및 대화 수준 인코딩을 조합한 계층적 딥 러닝 모델을 설계한다.
• 학습 가능한 가우시안 편향을 도입하여 상대적 위치에 기반해 국소적 발화 쌍을 강조함으로써 주의 메커니즘을 개선한다.
• 가우시안 편향은 발화 간 상대적 거리의 함수로 계산되며, 주의가 가까운 문맥에 집중하도록 이끈다.
• 다양한 대화 길이와 문맥 패딩 전략에 대한 성능 평가를 위해 새로운 대화 분할 기법을 도입한다.
• 창 크기 및 문맥 길이에 대한 추론 실험을 수행하기 위해 Switchboard와 DailyDialog라는 두 가지 벤치마크 데이터셋에서 엔드 투 엔드로 모델을 훈련한다.
• 모델은 온라인 및 오프라인 추론 설정을 모두 지원하며, 다양한 문맥 패딩 길이에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 학습 가능한 가우시안 편향을 통해 상대적 위치 정보를 통합함으로써 대화 행위 인식에서 주의 집중이 어떻게 향상되는가?
• RQ2 온라인 및 오프라인 설정에서 대화 길이와 문맥 패딩 길이가 모델 정확도에 어떤 영향을 미치는가?
• RQ3 표준 자기주도 주의와 비교할 때 국소적 문맥 주의가 발화 간 의존성을 어떻게 더 잘 포착하는가?
• RQ4 제안된 대화 분할 기법이 문맥 창 크기로 인한 성능 변동을 효과적으로 분리하고 분석할 수 있는가?
• RQ5 국소적 문맥을 모델링함으로써 대화 시퀀스에서 관련성이 없는 먼 발화로부터 오는 노이즈를 줄일 수 있는가?

주요 결과

• 제안된 국소적 문맥 주의 메커니즘은 대화 행위 인식 정확도를 크게 향상시켜 Switchboard에서 80.34%, DailyDialog에서 85.81%를 달성한다.
• 학습 가능한 가우시안 편향을 갖춘 모델은 시각화 결과에서 먼 발화(예: 위치 0과 7) 간의 높은 주의 점수를 억제함으로써 먼 발화에 대한 주의를 감소시킴을 보여준다.
• DailyDialog에서 문맥 패딩이 2개 초과할 경우 성능이 정체됨을 확인하여 짧은 문맥 창 이외에는 수익 감소 현상이 나타남을 시사한다.
• LSTM+LC Attention은 표준 주의 및 양방향 LSTM 기반 모델보다 뛰어난 성능을 보이며, 제한된 문맥을 가진 온라인 설정에서 특히 두각을 나타낸다.
• 최적의 창 크기를 사용할 경우 다양한 대화 길이에 걸쳐 강인성과 안정성을 확보하며 성능 저하가 최소화됨을 확인한다.
• 시각화 결과는 수정된 주의 메커니즘이 대각선을 따라 가중치를 집중시키며, 대화에서 국소적 의존성의 언어학적 직관과 일치함을 확인한다.