[논문 리뷰] CM-Net: A Novel Collaborative Memory Network for Spoken Language Understanding

Yijin Liu, Fandong Meng외 4명|arXiv (Cornell University)|2019. 09. 16.

Topic Modeling참고 문헌 41인용 수 5

한 줄 요약

이 논문은 스피큰 언어 이해를 위한 새로운 공동 메모리 네트워크인 CM-Net을 제안한다. CM-Net는 스택된 CM-블록을 통해 작업별 메모리, 국소적 문맥 표현, 전역 순차적 특징 간에 번갈아가며 정보를 교환함으로써 의도 검출과 슬롯 채우기를 공동으로 모델링한다. 이 모델은 ATIS 및 SNIPS 벤치마크에서 최고 성능을 기록했으며, 연구용으로 공개된 최신 CAIS 코퍼스에서도 베이스라인을 크게 능가한다.

ABSTRACT

Spoken Language Understanding (SLU) mainly involves two tasks, intent detection and slot filling, which are generally modeled jointly in existing works. However, most existing models fail to fully utilize co-occurrence relations between slots and intents, which restricts their potential performance. To address this issue, in this paper we propose a novel Collaborative Memory Network (CM-Net) based on the well-designed block, named CM-block. The CM-block firstly captures slot-specific and intent-specific features from memories in a collaborative manner, and then uses these enriched features to enhance local context representations, based on which the sequential information flow leads to more specific (slot and intent) global utterance representations. Through stacking multiple CM-blocks, our CM-Net is able to alternately perform information exchange among specific memories, local contexts and the global utterance, and thus incrementally enriches each other. We evaluate the CM-Net on two standard benchmarks (ATIS and SNIPS) and a self-collected corpus (CAIS). Experimental results show that the CM-Net achieves the state-of-the-art results on the ATIS and SNIPS in most of criteria, and significantly outperforms the baseline models on the CAIS. Additionally, we make the CAIS dataset publicly available for the research community.

연구 동기 및 목표

• 기존 모델이 스피큰 언어 이해에서 슬롯과 의도 간의 공존 관계를 충분히 활용하지 못하는 한계를 해결하기 위해.
• 단어, 슬롯, 의도 간 이중 방향 상호작용을 명시적으로 모델링하여 공동 의도 검출 및 슬롯 채우기 성능을 향상시키기 위해.
• 구조화된 블록 설계를 통해 반복적인 정보 교환을 통해 국소적 문맥 표현과 전역 순차적 표현을 향상시키기 위해.
• 새로 수집된 공개 데이터셋(CAIS)을 활용하여 다양한 도메인과 언어로의 일반화 능력을 입증하기 위해.
• SLU 연구의 발전을 위해 연구 공동체에 새로운 고품질의 애너테이션 코퍼스(CAIS)를 기여하기 위해.

제안 방법

• CM-Net 아키텍처는 새로운 CM-블록을 기반으로 하며, 이는 세 가지 순차적 연산을 수행한다: 고려된 어텐션, 국소 계산, 전역 재귀.
• 고려된 어텐션은 어텐션 메커니즘을 사용하여 전용 메모리에서 슬롯 전용 및 의도 전용 표현을 공동으로 계산한다.
• 국소 계산은 이전 단계에서의 슬롯 및 의도 전용 표현에 주목하여 각 토큰의 국소적 문맥 표현을 업데이트한다.
• 전역 재귀는 업데이트된 국소 표현에 이중 방향 LSTMs를 적용하여 전역 순차적 표현을 생성함으로써 장거리 의존성을 유지한다.
• 여러 개의 CM-블록을 스택하여 계층 간에 점진적인 표현 개선을 가능하게 하고 더 깊은 정보 교환을 실현한다.
• 모델은 벤치마크 데이터셋에서 성능을 더욱 향상시키기 위해 사전 훈련된 BERT 임베딩을 입력 특징으로 통합한다.

실험 결과

연구 질문

• RQ1 공동 메모리 메커니즘이 스피큰 언어 이해에서 슬롯과 의도 간의 이중 방향 의미 상관관계를 효과적으로 포착할 수 있는가?
• RQ2 제안된 CM-블록 아키텍처는 표준 RNN 또는 CNN 기반 모델과 비교해 국소적 문맥 표현과 전역 발화 표현을 어떻게 향상시키는가?
• RQ3 메모리, 국소적 문맥, 전역 시퀀스 간의 반복적 정보 교환은 공동 의도 검출 및 슬롯 채우기 성능에 얼마나 기여하는가?
• RQ4 새로 수집된 다양한 코퍼스에서처럼, CM-Net은 도메인 외부 또는 자원이 적은 설정으로도 잘 일반화되는가?
• RQ5 BERT와 같은 사전 훈련된 언어 모델의 통합이 CM-Net 아키텍처의 성능을 추가로 향상시킬 수 있는가?

주요 결과

• BERT를 입력으로 사용할 경우 ATIS 벤치마크에서 CM-Net은 의도 검출 정확도 97.31%와 슬롯 채우기 F1-스코어 99.32%로 최고 성능을 기록했다.
• SNIPS 벤치마크에서 CM-Net은 BERT 미세조정을 통해 새로운 최고 성능을 확립했으며, 의도 정확도 97.31%와 슬롯 F1-스코어 99.32%를 달성했다.
• 자신이 수집한 CAIS 데이터셋에서 CM-Net은 슬롯 채우기 F1-스코어 86.16%와 의도 검출 정확도 94.56%를 기록했으며, BiLSTM-CRF 및 S-LSTM 베이스라인을 모두 능가했다.
• 제거 실험을 통해 CM-블록의 각 구성 요소인 고려된 어텐션, 국소 계산, 전역 재귀가 성능 향상에 기여한다는 것이 확인되었다.
• 사전 훈련된 BERT 임베딩의 통합은 모든 벤치마크에서 일관되게 성능 향상을 이끌었으며, 이는 CM-넷 프레임워크 내에서 문맥 기반 특징의 효과성을 시사한다.
• 공개된 CAIS 데이터셋은 향후 자원이 적거나 다국어 스피큰 언어 이해 연구를 위한 귀중한 자원을 제공한다.