[논문 리뷰] Hierarchical Dialogue Understanding with Special Tokens and Turn-level Attention

Xiao Liu, Jian Zhang외 3명|arXiv (Cornell University)|2023. 04. 29.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 추가적인 사전 훈련 없이 내부 대화 단위의 의미를 포착하기 위해 특수 토큰과 터닝 수준의 어텐션을 사용하는 간단하면서도 효과적인 계층적 대화 이해 방법인 HiDialog를 제안한다. 터닝 전용 특수 토큰을 삽입하고 자기 어텐션에 터닝 수준 마스킹를 적용함으로써, HiDialog는 다양한 벤치마크에서 대화 관계 추출, 정서 인식, 대화 액션 분류 작업에서 최신 기술 수준(SOTA) 성능을 달성하며, 이전 모델보다 F1 점수에서 최대 4% 향상시켰다.

ABSTRACT

Compared with standard text, understanding dialogue is more challenging for machines as the dynamic and unexpected semantic changes in each turn. To model such inconsistent semantics, we propose a simple but effective Hierarchical Dialogue Understanding model, HiDialog. Specifically, we first insert multiple special tokens into a dialogue and propose the turn-level attention to learn turn embeddings hierarchically. Then, a heterogeneous graph module is leveraged to polish the learned embeddings. We evaluate our model on various dialogue understanding tasks including dialogue relation extraction, dialogue emotion recognition, and dialogue act classification. Results show that our simple approach achieves state-of-the-art performance on all three tasks above. All our source code is publicly available at https://github.com/ShawX825/HiDialog.

연구 동기 및 목표

• 표준 사전 훈련된 언어 모델이 간과하는 다이내믹하고 일관성 없는 다중 터닝 대화의 의미를 모델링하는 데 도전하는 것.
• 추가적인 사전 훈련이나 계산 비용 없이 일반 사전 훈련과 대화 전용 미세조정 사이의 격차를 메우는 것.
• 터닝 수준 표현의 계층적 모델링을 통해 대화 이해를 향상시키는 경량형, 플러그인 방식의 솔루션을 개발하는 것.
• 관계 추출, 정서 인식, 대화 액션 분류와 같은 핵심 대화 이해 작업에서 성능을 향상시키는 것.

제안 방법

• 각 대화 터닝에 터닝 수준 의미 단위를 나타내는 특수 토큰([T])을 삽입하여 개별 터닝 내에서 집중적인 어텐션을 가능하게 한다.
• 현재 터닝 외부의 토큰을 마스킹함으로써 터닝 수준 어텐션을 적용하여 각 터닝의 표현이 다른 터닝으로부터 격리되고 맥락 인식이 가능하도록 보장한다.
• 표준 BERT 스타일 인코더를 사용하며, 특수 토큰의 인코딩 중 현재 터닝 내에서만 계산이 제한되는 수정된 어텐션 메커니즘을 적용한다.
• 발화자 신원은 전용 임베딩으로 인코딩되어 입력 토큰과 연결되어 발화자 인식 맥락을 유지한다.
• 인코딩 후 이질적인 그래프 신경망 모듈을 적용하여 터닝 간의 정보를 정교화하고 전파함으로써 상호 터닝 이해를 향상시킨다.
• 최종 분류 헤드는 [CLS] 토큰 표현을 사용하여 최종 작업 예측을 수행하며, 표준 미세조정과의 간편성 및 호환성을 유지한다.

Figure 1: Illustration of the proposed intra-turn modeling. In the turn-level attention, the restriction is applied on turn-level special tokens, denoted as $[T]$ , where tokens outside the turn are masked out (colored in grey).

실험 결과

연구 질문

• RQ1 터닝 수준 의미에 집중함으로써 사전 훈련 없이도 최신 기술 수준의 대화 이해 성능를 달성할 수 있는가?
• RQ2 특수 토큰과 함께 터닝 수준 어텐션은 전반적인 [CLS] 또는 평균 풀링보다 내부 터닝 정보를 어떻게 더 잘 포착하는가?
• RQ3 제안된 방법은 관계 추출, 정서 인식, 대화 액션 분류와 같은 다양한 대화 이해 작업에 일반화되는가?
• RQ4 특히 긴 시퀀스에서 성능 저하가 발생하는 모델들과 비교할 때, 이 방법은 대화 길이 증가에 대해 얼마나 강인한가?
• RQ5 이질적인 그래프 모듈은 긴 또는 복잡한 대화에서 성능 향상에 기여하는가?

주요 결과

• HiDialog는 DialogRE 데이터셋에서 이전 SOTA(TUCORE-GCN)보다 F1 점수에서 4% 향상되고 F1_c에서 2.3% 향상되어 최신 기술 수준 성능를 달성했다.
• MELD 데이터셋에서 HiDialog는 정서 인식의 가중 F1 점수에서 TUCORE-GCN보다 1.5% 높은 성능를 보였다.
• 제거 실험에서 터닝 수준 어텐션을 제거하면 F1 점수에서 1.5% 감소하고 F1_c에서 0.8% 감소하여 맥락 인식 터닝 표현에 있어 그 중요성을 확인했다.
• HiDialog는 모든 대화 길이 그룹에서 강력한 성능를 유지했으며, 100 토큰 미만의 대화에서 TUCORE-GCN에 비해 가장 큰 성능 격차를 보였다.
• 긴 대화에서의 강인함을 보였으며, TUCORE-GCN는 500 토큰을 초과하는 시퀀스 길이에서 성능 저하가 심하게 발생했다.
• 이질적인 그래프 모듈은 비대칭 관계에 특히 효과적이었으며, 이를 제거하면 대칭과 비대칭 관계 간의 성능 경향이 뒤바뀌는 현상이 발생했다.

Figure 2: Analysis of robustness of HiDialog tackling increasing utterance length compared to baseline TUCORE-GCN on DialogRE dataset.