[논문 리뷰] A Co-Interactive Transformer for Joint Slot Filling and Intent Detection

Libo Qin, Tailu Liu외 4명|arXiv (Cornell University)|2020. 10. 08.

Topic Modeling참고 문헌 29인용 수 11

한 줄 요약

이 논문은 공통의 상호작용 어텐션 메커니즘을 통해 의도 검출과 슬롯 채우기 간의 이방향 상호 영향을 명시적으로 모델링하는 Co-Interactive Transformer를 제안한다. 이는 교차 작업 어텐션을 활용하여 이전 방법들을 능가하며, SNIPS 및 ATIS 벤치마크에서 최고 성능을 기록한다. BERT와 결합할 경우 성능 향상이 더욱 두드러진다.

ABSTRACT

Intent detection and slot filling are two main tasks for building a spoken language understanding (SLU) system. The two tasks are closely related and the information of one task can be utilized in the other task. Previous studies either model the two tasks separately or only consider the single information flow from intent to slot. None of the prior approaches model the bidirectional connection between the two tasks simultaneously. In this paper, we propose a Co-Interactive Transformer to consider the cross-impact between the two tasks. Instead of adopting the self-attention mechanism in vanilla Transformer, we propose a co-interactive module to consider the cross-impact by building a bidirectional connection between the two related tasks. In addition, the proposed co-interactive module can be stacked to incrementally enhance each other with mutual features. The experimental results on two public datasets (SNIPS and ATIS) show that our model achieves the state-of-the-art performance with considerable improvements (+3.4% and +0.9% on overall acc). Extensive experiments empirically verify that our model successfully captures the mutual interaction knowledge.

연구 동기 및 목표

• 이전의 공동 모델들이 의도에서 슬롯으로의 단방향 정보 흐름만 모델링하거나 암묵적인 파라미터 공유 방식을 사용하는 데서 비롯되는 한계를 해결하기 위해.
• 통합 프레임워크 내에서 의도 검출과 슬롯 채우기 간의 이방향 상호 영향을 명시적으로 모델링하기 위해.
• 슬롯과 의도 표현이 서로의 의미 정보를 참조할 수 있도록 하여 성능 향상을 도모하기 위해.
• 제거 실험 및 비교 연구를 통해 명시적 상호작용의 효과를 입증하기 위해.

제안 방법

• 입력 시퀀스의 맥락 인식(hidden) 상태를 생성하기 위해 공통의 BiLSTM 인코더를 사용한다.
• 각 레이블 클래스에 대한 학습된 임베딩 행렬을 사용하여 명시적인 의도 및 슬롯 표현을 확보하기 위해 레이블 어텐션 레이어를 적용한다.
• 핵심 공통 상호작용 모듈은 자기 어텐션을 이중 어텐션 메커니즘으로 대체한다: 의도 표현이 슬롯 표현을 질의하고, 그 반대도 마찬가지로 이루어져 양방향 상호작용이 가능해진다.
• 공통 상호작용 어텐션 레이어는 각 작업이 다른 작업의 관련 정보를 참조할 수 있도록 하여, 상호 영향을 명시적으로 모델링한다.
• 공통 상호작용 레이어 이후에 피드포워드 네트워크를 적용하여 정보를 암묵적으로 더욱 융합한다.
• 공통 인코더로 BERT를 통합하여 모델을 추가로 향상시켜, 두 벤치마크 모두에서 성능 향상을 이룬다.

실험 결과

연구 질문

• RQ1 의도 검출과 슬롯 채우기 간의 명시적 이방향 상호작용이 단방향 또는 암묵적 방법보다 공동 성능을 향상시키는가?
• RQ2 명시적인 의도 및 슬롯 표현의 포함 여부가 모델 성능에 어떤 영향을 미치는가?
• RQ3 자기 어텐션을 공통 상호작용 어텐션 메커니즘으로 대체할 경우, 표준 어텐션 또는 공유 파라미터 모델보다 더 좋은 결과를 얻을 수 있는가?
• RQ4 제안된 프레임워크는 기존 최고 성능 모델들과 비교해 의도 및 슬롯 검출에서 어떤가?

주요 결과

• Co-Interactive Transformer는 SNIPS 및 ATIS 데이터셋 모두에서 최고 성능을 기록하며, 모든 이전 베이스라인을 능가한다.
• BERT 통합 모델은 새로운 최고 성능을 기록하여, 스택-프로파게이션 + BERT를 포함한 모든 기존 모델을 초월한다.
• 제거 실험 결과, 의도 또는 슬롯 어텐션 레이어를 제거하면 성능 저하가 발생함을 확인하여, 명시적 표현의 중요성을 입증한다.
• 공통 상호작용 레이어를 자기 어텐션(상호작용을 암묵적으로 모델링)으로 대체할 경우 성능 저하가 발생함을 확인하여, 명시적 이방향 어텐션의 이점이 입증된다.
• 이방향 연결이 의도에서 슬롯, 슬롯에서 의도로의 단방향 설정보다 성능이 뛰어나, 상호 강화가 더 우수함을 입증한다.