[논문 리뷰] A Dynamic Graph Interactive Framework with Label-Semantic Injection for Spoken Language Understanding

Zhihong Zhu, Weiyuan Xu외 3명|arXiv (Cornell University)|2022. 11. 08.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 말하는 언어 이해에서 공동 다중의도 탐지와 슬롯 채우기를 위한 레이블-세분적 주입을 갖춘 동적 그래프 상호작용 프레임워크인 DGIF를 제안한다. 발화 표현에 의도 및 슬롯 레이블의 의미 표현을 주입하고, 각 토큰별로 관련된 의도 정보를 적응적으로 필터링하는 다중 크기 상호작용 그래프를 구성함으로써, DGIF는 MixATIS 데이터셋에서 이전 최고 성능 모델 대비 총 정확도에서 13.7%의 상대적 향상을 달성한다.

ABSTRACT

Multi-intent detection and slot filling joint models are gaining increasing traction since they are closer to complicated real-world scenarios. However, existing approaches (1) focus on identifying implicit correlations between utterances and one-hot encoded labels in both tasks while ignoring explicit label characteristics; (2) directly incorporate multi-intent information for each token, which could lead to incorrect slot prediction due to the introduction of irrelevant intent. In this paper, we propose a framework termed DGIF, which first leverages the semantic information of labels to give the model additional signals and enriched priors. Then, a multi-grain interactive graph is constructed to model correlations between intents and slots. Specifically, we propose a novel approach to construct the interactive graph based on the injection of label semantics, which can automatically update the graph to better alleviate error propagation. Experimental results show that our framework significantly outperforms existing approaches, obtaining a relative improvement of 13.7% over the previous best model on the MixATIS dataset in overall accuracy.

연구 동기 및 목표

• 기존 모델이 one-hot 인코딩된 레이블에 의존하고 명시적인 레이블 의미를 忽시하는 한계를 해결한다.
• 슬롯 채우기 과정에서 모든 토큰에 다중의도 정보를 무분별하게 주입함으로써 발생하는 오류 전파를 완화한다.
• 발화 단어와 레이블 단어 간의 의미 유사성을 활용하여 다중의도 탐지와 슬롯 채우기의 공동 성능를 향상시킨다.
• 고신뢰도의 토큰별 특화된 의도-슬롯 상관관계를 포착하는 동적이고 적응적인 그래프 기반 메커니즘을 개발한다.
• 레이블 인식 정규화와 의미 주입을 통해 의도와 슬롯 예측 간의 일반화 능력과 일치도를 향상시킨다.

제안 방법

• 문장과 레이블 표현을 별도로 처리하기 위해 두 개의 별도 BERT 인코더를 사용하여 문법적 차이를 유지한다.
• 힐버트 공간 내에서 최적 근사 방법을 사용하여 선형 조합을 통한 레이블 기저 벡터의 선형 조합을 통해 레이블 의미를 발화 표현에 주입한다.
• 의도 및 슬롯 공간 내 레이블 간의 의미적 의존성을 모델링하기 위해 레이블 인식 정규화를 적용한다.
• 각 토큰에 대해 의미 일치 기반으로 관련된 의도를 동적으로 선택하는 다중 크기 상호작용 그래프를 구축한다.
• 어텐션 메커니즘에 기반하여 간선 가중치를 업데이트하는 학습 가능한 그래프 상호작용 레이어를 활용하여 각 토큰 별로 관련 없는 의도 신호를 필터링한다.
• 의도 탐지와 슬롯 채우기를 동시에 최적화하기 위해 다중 작업 학습 기반의 공동 학습 기반으로 모델을 훈련한다.

Fig. 1 : Utterance with multiple intents ( red ) and slots ( blue ).

실험 결과

연구 질문

• RQ1 발화 표현에 명시적인 레이블 의미를 주입함으로써 공동 다중의도 탐지 및 슬롯 채우기 성능 향상이 가능한가?
• RQ2 정적(global) 의도 주입 대비 동적 토큰별 의도 주입이 노이즈와 오류 전파를 줄이는 데 얼마나 효과적인가?
• RQ3 레이블 인식 정규화가 의도 및 슬롯 레이블 간의 의미적 의존성 모델링에 얼마나 기여하는가?
• RQ4 제안된 동적 그래프 상호작용 메커니즘이 정적 어텐션 또는 고정 그래프 구조보다 더 정확하고 강건한 의도-슬롯 일치를 이끌어내는가?
• RQ5 MixATIS 및 MixSNIPS와 같은 공개 다중의도 SLU 벤치마크에서 기존 최고 성능 모델을 능가할 수 있는가?

주요 결과

• DGIF는 MixATIS 데이터셋에서 이전 최고 성능 모델 대비 총 정확도에서 13.7%의 상대적 향상을 달성하여 뚜렷한 성능 향상을 입증한다.
• 제거 실험 결과, 레이블-세분적 주입을 제거할 경우 총 정확도가 3.4% 감소함을 확인하여, 이 주입 기법이 성능 향상에 핵심적인 역할을 한다는 것을 확인한다.
• 레이블 인식 정규화를 제거하면 의도 정확도가 2.1% 감소하고 슬롯 F1은 0.6% 감소하여, 이 정규화 기법이 레이블 공간의 의미를 효과적으로 모델링한다는 것을 입증한다.
• 기본 어텐션 레이어로 동적 그래프 상호작용 레이어를 대체할 경우 총 정확도가 5.3% 감소하여, 토큰별 적응형 의도 필터링의 유용성을 입증한다.
• 어텐션 가중치의 시각화 결과 DGIF가 'GetWeather'와 같은 관련 의도를 의미적으로 관련된 슬롯('forecast', 'cold')과 정확히 일치시킴을 확인하였으며, 이는 이전 모델들과의 대비에서 뚜렷한 우수성을 보였다.
• RoBERTa-base 대신 BERT-base를 사용했음에도 DGIF는 RoBERTa 기반 베이스라인을 능가함을 확인하여, 아키텍처가 레이블 의미를 효과적으로 활용함으로써 표현 품질의 열등함을 상쇄할 수 있음을 시사한다.

Fig. 2 : The architecture of DGIF . Two BERT encoders will encode both the utterance ( § 2.1 ) and labels ( § 2.2 ). Sentence-level representation $r^{u}$ and token-level representation $h_{*}$ will be injected with label semantics in respective space ( § 2.3 ) and interact in § 2.4 . $\checkmark$ d