[논문 리뷰] Towards Joint Intent Detection and Slot Filling via Higher-order Attention

Dongsheng Chen, Zhiqi Huang외 3명|arXiv (Cornell University)|2021. 09. 18.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

이 논문은 양방향 선형 주의 블록을 도입하여 이차 특징 상호작용을 이원선형 풀링을 통해 포집하고, ELU 활성화를 적용한 블록을 스택하며, 동적 특징 융합 레이어를 사용하여 교차 작업 특징 통합을 향상시킴으로써 통합 의도 검출 및 슬롯 채우기 위한 고차 주의 네트워크를 제안한다. 실험 결과, 벤치마크 SLU 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Intent detection (ID) and Slot filling (SF) are two major tasks in spoken language understanding (SLU). Recently, attention mechanism has been shown to be effective in jointly optimizing these two tasks in an interactive manner. However, latest attention-based works concentrated only on the first-order attention design, while ignoring the exploration of higher-order attention mechanisms. In this paper, we propose a BiLinear attention block, which leverages bilinear pooling to simultaneously exploit both the contextual and channel-wise bilinear attention distributions to capture the second-order interactions between the input intent or slot features. Higher and even infinity order interactions are built by stacking numerous blocks and assigning Exponential Linear Unit (ELU) to blocks. Before the decoding stage, we introduce the Dynamic Feature Fusion Layer to implicitly fuse intent and slot information in a more effective way. Technically, instead of simply concatenating intent and slot features, we first compute two correlation matrices to weight on two features. Furthermore, we present Higher-order Attention Network for the SLU tasks. Experiments on two benchmark datasets show that our approach yields improvements compared with the state-of-the-art approach. We also provide discussion to demonstrate the effectiveness of the proposed approach.

연구 동기 및 목표

• 기존 방법이 통합 의도 검출 및 슬롯 채우기에서 단순히 일차 주의에 집중하는 데에 한계가 있음을 해결하기 위해.
• 의도 및 슬롯 특징 간의 고차 상호작용을 탐색하여 표현 학습을 향상시키기 위해.
• 간단한 연결보다 더 깊이 있는 의도 및 슬롯 정보 통합을 암묵적으로 수행하는 더 효과적인 특징 융합 메커니즘을 설계하기 위해.
• 새로운 주의 아키텍처를 통해 종단 간 방식으로 통합 의도 검출 및 슬롯 채우기에 최신 기술 수준의 성능를 달성하기 위해.

제안 방법

• 의도 및 슬롯 특징 간의 이차 상호작용을 모델링하기 위해 문맥 및 채널 기반 양방향 주의 분포를 계산하는 BiLinear 주의 블록을 제안한다.
• 여러 개의 BiLinear 블록을 스택하고, 지수선형단위(ELU) 활성화를 적용하여 고차 및 잠재적으로 무한차 상호작용을 가능하게 한다.
• 디코딩 이전에 의도 및 슬롯 특징를 가중치를 주기 위해 두 개의 상관관계 행렬을 계산하는 동적 특징 융합 레이어를 도입한다. 이는 간단한 연결을 대체한다.
• 파라미터 효율적인 방식으로 입력 특징 간의 다중모달 종속성을 포착하기 위해 이원선형 풀링을 사용한다.
• 의도 검출 및 슬롯 채우기를 종단 간 방식으로 동시에 최적화할 수 있도록 네트워크를 설계한다.
• 다양한 작업 간 관련 특징에 동적으로 주의를 기울이는 주의 메커니즘을 활용하여 표현 학습을 향상시킨다.

실험 결과

연구 질문

• RQ1 고차 주의 메커니즘은 일차 주의를 초월하여 통합 의도 검출 및 슬롯 채우기에 효과를 발휘할 수 있는가?
• RQ2 이차 특징 상호작용을 모델링하면 SLU 작업에서 표현 학습이 어떻게 향상되는가?
• RQ3 의도 및 슬롯 특징 통합에서 간단한 연결보다 동적 특징 융합이 더 우수한가?
• RQ4 ELU 활성화를 적용한 BiLinear 블록을 스택하면 SLU 표현에서 더 깊은 상호작용을 효과적으로 모델링할 수 있는가?
• RQ5 기본 SLU 벤치마크에서 제안된 방법은 최신 기술 수준의 접근법과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 고차 주의 네트워크는 두 개의 벤치마크 SLU 데이터셋에서 최신 기술 수준의 성능를 달성한다.
• BiLinear 주의 블록은 의도 및 슬롯 특징 간의 이차 상호작용을 포착함으로써 특징 표현을 크게 향상시킨다.
• 동적 특징 융합 레이어는 의도 및 슬롯 특징에 대한 적응형 상관관계 기반 가중치를 학습함으로써 모델 성능을 향상시킨다.
• 여러 개의 BiLinear 블록을 ELU 활성화와 함께 스택함으로써 복잡한 고차 상호작용을 더 잘 모델링할 수 있다.
• 기존의 일차 주의 메커니즘에 의존하는 주의 기반 접근법보다 성능이 뛰어나다.
• 실험 결과는 이원선형 풀링과 동적 융합의 효과가 통합 의도 검출 및 슬롯 채우기 정확도 향상에 기여함을 입증한다.