[논문 리뷰] Multi-lingual Dialogue Act Recognition with Deep Learning Methods

Jiřı́ Martı́nek, Pavel Král외 2명|arXiv (Cornell University)|2019. 04. 11.

Speech and dialogue systems참고 문헌 26인용 수 4

한 줄 요약

이 논문은 단일 다국어 모델과 교차 언어 모델을 사용하여 word2vec 임베딩 기반의 다국어 대화 행위(대화 행위) 인식을 위한 두 가지 딥러닝 기반 접근법을 제안한다. 단일 다국어 모델은 모든 언어에 대해 훈련되며, 교차 언어 모델은 CCA를 사용하여 의미 공간을 정렬한다. 다국어 모델이 교차 언어 접근법보다 우수한 성능을 보이며, Bi-LSTM은 Verbmobil 코퍼스에서 74.9%의 정확도를 기록하여 기존의 단일 언어 시스템과 비교해도 최고 수준의 성능을 보였다.

ABSTRACT

This paper deals with multi-lingual dialogue act (DA) recognition. The proposed approaches are based on deep neural networks and use word2vec embeddings for word representation. Two multi-lingual models are proposed for this task. The first approach uses one general model trained on the embeddings from all available languages. The second method trains the model on a single pivot language and a linear transformation method is used to project other languages onto the pivot language. The popular convolutional neural network and LSTM architectures with different set-ups are used as classifiers. To the best of our knowledge this is the first attempt at multi-lingual DA recognition using neural networks. The multi-lingual models are validated experimentally on two languages from the Verbmobil corpus.

연구 동기 및 목표

• 신경망 기반 자연어 처리에서 다국어 대화 행위 인식 방법의 부족을 해결하기 위해.
• 대화 시스템에서 교차 언어 전이 학습을 가능하게 함으로써 인간의 주석 작업을 줄이기 위해.
• word2vec 임베딩을 사용한 딥 네트워크의 효과를 다국어 DA 인식에 평가하기 위해.
• 다국어 훈련과 CCA 기반 투입을 통한 피벗 언어 전이를 비교하기 위해.
• 대화 이력과 다양한 신경 아키텍처가 DA 인식 성능에 미치는 영향을 평가하기 위해.

제안 방법

• 모든 언어의 대화 행위 주석을 통합하여 공유된 word2vec 임베딩을 사용해 단일 다국어 분류기 훈련.
• 피벗 언어 전략을 적용하여 한 언어에 대해서만 모델을 훈련하고, 나머지 언어는 CCA를 통해 피벗 언어의 의미 공간으로 투영.
• 두 가지 신경 아키텍처를 사용: 시퀀스 모델링을 위한 CNN과 최대 풀링, 양방향 LSTM.
• 입력 특징으로 word2vec 임베딩를 사용하며, Verbmobil 코퍼스에서의 미세조정 실험을 실시.
• 분류 성능 향상을 위해 대화 이력을 입력 컨텍스트로 통합.
• Verbmobil 코퍼스의 영어 및 독일어 데이터에서 정확도와 F1 점수를 사용해 모델 평가.

실험 결과

연구 질문

• RQ1 공유된 word2vec 임베딩를 사용하여 다국어 대화 행위 데이터에 대해 단일 딥 네트워크를 효과적으로 훈련시킬 수 있는가?
• RQ2 CCA를 통한 피벗 언어의 의미 공간으로 비피벗 언어를 투영하는 것이 효과적인 교차 언어 대화 행위 인식을 가능하게 하는가?
• RQ3 다른 신경 아키텍처(CNN 대비 Bi-LSTM)는 다국어 DA 인식 작업에서 어떻게 성능을 내는가?
• RQ4 대화 이력을 통합할 경우 DA 인식 정확도가 얼마나 향상되는가?
• RQ5 pre-trained word2vec 임베딩의 미세조정이 Verbmobil 코퍼스에서의 다국어 DA 인식에 유익한가?

주요 결과

• 다국어 모델은 대화 이력을 포함한 Bi-LSTM를 사용해 74.9%의 F1 점수를 기록했으며, 교차 언어 접근법을 능가했다.
• CCA 투영 기반 교차 언어 모델은 영어에서 독일어 대화 행위를 예측할 때 단지 34.0%의 F1 점수를 기록하여 전이 가능성은 제한적이었다.
• Bi-LSTM 아키텍처는 모든 설정에서 CNN 구현보다 뚜렷이 뛰어난 성능을 보이며, 최고의 F1 점수 74.9%를 기록했다.
• 대화 이력은 거의 모든 설정에서 성능 향상을 이끌었으며, Bi-LSTM 모델에 이력이 포함된 경우 가장 우수한 결과를 기록했다.
• word2vec 임베딩의 미세조정은 성능 향상에 기여하지 않았으며, 이는 사전 훈련된 임베딩가 이미 이 작업에 최적임을 시사했다.
• 제안된 다국어 모델은 74.9%의 F1 점수로 Verbmobil 테스트 세트에서 최고 수준의 성능을 달성했으며, 단일 언어 시스템과 비교해도 유사한 성능을 보였다.