[논문 리뷰] AGIF: An Adaptive Graph-Interactive Framework for Joint Multiple Intent Detection and Slot Filling

Libo Qin, Xu Xiao외 2명|arXiv (Cornell University)|2020. 04. 21.

Topic Modeling참고 문헌 31인용 수 11

한 줄 요약

이 논문은 동적 그래프 주의 메커니즘을 통해 토큰과 다중 의도 간의 세분화된 상호작용을 모델링하는 적응형 그래프 상호작용 프레임워크인 AGIF를 제안한다. 토큰 수준에서 관련된 의도 정보를 적응적으로 통합함으로써, AGIF는 세 개의 다중의도 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 동시에 단일의도 벤치마크 두 곳에서도 SOTA를 초월하여 일반화 능력을 향상시킨다.

ABSTRACT

In real-world scenarios, users usually have multiple intents in the same utterance. Unfortunately, most spoken language understanding (SLU) models either mainly focused on the single intent scenario, or simply incorporated an overall intent context vector for all tokens, ignoring the fine-grained multiple intents information integration for token-level slot prediction. In this paper, we propose an Adaptive Graph-Interactive Framework (AGIF) for joint multiple intent detection and slot filling, where we introduce an intent-slot graph interaction layer to model the strong correlation between the slot and intents. Such an interaction layer is applied to each token adaptively, which has the advantage to automatically extract the relevant intents information, making a fine-grained intent information integration for the token-level slot prediction. Experimental results on three multi-intent datasets show that our framework obtains substantial improvement and achieves the state-of-the-art performance. In addition, our framework achieves new state-of-the-art performance on two single-intent datasets.

연구 동기 및 목표

• 음성 언어 이해에서 토큰 수준의 슬롯 예측을 위한 다중 의도 정보를 효과적으로 통합하는 데 도전한다.
• 이전 모델이 단일한 정적 의도 컨텍스트 벡터로 모든 토큰을 동일하게 처리하는 한계를 극복한다.
• 각 토큰과 관련된 의도 간의 동적 상관관계를 모델링하여 세분화되고 적응적인 의도 정보 전달을 가능하게 한다.
• 다중의도 및 단일의도 SLU 벤치마크에서 모두 SOTA 성능를 달성함으로써 일반화 능력을 향상시킨다.
• 두 개의 대규모 다중의도 데이터셋과 코드를 공개하여 향후 연구를 촉진한다.

제안 방법

• 각 토큰의 히든 상태와 예측된 의도 임베딩 간에 동적 그래프를 구축하는 적응형 의도-슬롯 그래프 상호작용 레이어를 제안한다.
• 그래프 주의망(GAT)을 사용하여 적응적인 주의 가중치를 계산함으로써 각 토큰이 관련된 의도에 선택적으로 주의를 기울일 수 있도록 한다.
• 필터링된 의도 정보를 슬롯 채우기 디코더에 통합하여 컨텍스트 인식 토큰 표현을 생성한다.
• 의도 탐지 및 슬롯 채우기 양쪽 작업을 위한 통합된 발화 표현을 추출하기 위해 공유된 자기주의 망 인코더를 사용한다.
• 의도 탐지 및 슬롯 채우기 양쪽을 위한 별도의 디코더를 활용하며, 그래프 모듈을 통해 양방향 작업 간 상호작용을 가능하게 한다.
• 의도 탐지 및 슬롯 채우기 양쪽에 대한 공동 손실 최적화를 사용하여 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 슬롯 채우기 작업에서 토큰 수준에서 다중 의도 정보를 효과적이고 세분화하여 어떻게 통합할 수 있는가?
• RQ2 정적이고 전역적인 의도 컨텍스트 통합 방식에 비해, 동적이고 적응적인 그래프 기반 메커니즘이 다중의도 SLU에서 더 나은 성능을 내는가?
• RQ3 제안된 프레임워크는 SOTA 성능를 유지하면서도 단일의도 SLU 벤치마크로 일반화되는가?
• RQ4 모델은 의미적 관련성에 기반하여 각 토큰에 대해 올바른 의도에 주의를 기울일 수 있는가?
• RQ5 제안된 프레임워크는 실제 세계의 다중의도 SLU 작업에서 성능 향상에 어느 정도 기여하는가?

주요 결과

• AGIF는 DSTC4, MixATIS, MixSNIPS를 포함한 세 개의 다중의도 SLU 데이터셋에서 최신 기술 수준(SOTA) 성능를 달성한다.
• DSTC4 벤치마크에서 AGIF는 의도 탐지 및 슬롯 채우기 지표 양쪽에서 이전의 SOTA 방법보다 뚜렷이 뛰어난 성능를 기록한다.
• ATIS 및 SNIPS라는 두 개의 공개된 단일의도 벤치마크에서 새로운 SOTA 결과를 달성하여 강력한 일반화 능력을 입증한다.
• 주의 시각화 결과는 모델이 각 토큰에 대해 관련된 의도에 더 높은 주의 가중치를 할당하는 것으로 확인된다.
• 제거 실험 결과, 적응형 그래프 상호작용 레이어를 제거할 경우 성능 저하가 심각하게 발생함을 확인하여 그 중요성을 입증한다.
• MixATIS 및 MixSNIPS라는 두 개의 대규모 다중의도 데이터셋의 공개는 다중의도 SLU 분야의 연구를 가속화할 것으로 기대된다.