[논문 리뷰] Dialogue Act Recognition via CRF-Attentive Structured Network

Zheqian Chen, Rongqin Yang외 3명|arXiv (Cornell University)|2017. 11. 15.

Speech and dialogue systems참고 문헌 36인용 수 10

한 줄 요약

이 논문은 선형 체인 CRF 레이어 위에 계층적 의미 추론과 메모리 기반 기법, 구조적 어텐션 네트워크를 통합한 새로운 엔드 투 엔드 딥 러닝 모델인 CRF-ASN을 제안한다. 이 방법은 발화 수준 및 대화 행위 수준의 의존성을 모두 포착하여 Switchboard 데이터셋에서 최신 기술 수준의 성능을 달성하며, 인간 평가자 정확도와 2% 이내의 격차를 보였다.

ABSTRACT

Dialogue Act Recognition (DAR) is a challenging problem in dialogue interpretation, which aims to attach semantic labels to utterances and characterize the speaker's intention. Currently, many existing approaches formulate the DAR problem ranging from multi-classification to structured prediction, which suffer from handcrafted feature extensions and attentive contextual structural dependencies. In this paper, we consider the problem of DAR from the viewpoint of extending richer Conditional Random Field (CRF) structural dependencies without abandoning end-to-end training. We incorporate hierarchical semantic inference with memory mechanism on the utterance modeling. We then extend structured attention network to the linear-chain conditional random field layer which takes into account both contextual utterances and corresponding dialogue acts. The extensive experiments on two major benchmark datasets Switchboard Dialogue Act (SWDA) and Meeting Recorder Dialogue Act (MRDA) datasets show that our method achieves better performance than other state-of-the-art solutions to the problem. It is a remarkable fact that our method is nearly close to the human annotator's performance on SWDA within 2% gap.

연구 동기 및 목표

• 수동으로 설계된 특징에 의존하고 문맥적 의존성을 忽시하는 전통적인 다중 분류 접근 방식의 한계를 해결한다.
• 대화를 평탄한 시퀀스로 간주하여 발화 수준와 행위 수준의 이중 의존성을 모델링하지 못하는 기존의 구조적 예측 모델의 단점을 보완한다.
• 더 풍부한 조건부 랜덤 필드(CRF)의 구조적 의존성과 어텐션 기반 기법을 통합하면서도 엔드 투 엔드 미분 가능성과 공동 최적화를 유지한다.
• 발화 간의 장거리 문맥 모델링을 위해 계층적 의미 추론과 메모리 증강 인코딩을 통한 향상된 표현을 제공한다.
• 기본 대화 행위 인식 데이터셋에서 인간 수준의 평가 정확도에 가까운 성능을 달성한다.

제안 방법

• 단어, 발화, 대화 수준에서 발화 표현을 모델링하기 위해 메모리 증강 기반의 계층적 의미 추론 기법을 적용한다.
• 대화 시퀀스 전반에 걸친 장기 의존성을 포착하기 위해 메모리 증강 순환 네트워크를 통합한다.
• 선형 체인 CRF 레이어 내부에서 작동하는 내부 구조적 어텐션 네트워크를 설계하여 대화 행위 간의 부드럽고 문맥 기반 의존성을 모델링한다.
• 구조적 어텐션 메커니즘을 구성하여 문맥적 발화와 해당 대화 행위 레이블을 동시에 고려함으로써, 구조적 의존성에 대한 소프트 선택을 가능하게 한다.
• 모든 구성 요소의 완전한 미분 가능성과 공동 최적화를 확보하기 위해 백프로파게이션을 사용해 전체 모델을 엔드 투 엔드로 훈련한다.
• 대화 행위의 순차적 의존성을 모델링하기 위해 CRF 레이어를 사용하며, 어텐션 메커니즘을 통해 문맥적 관련성에 기반한 전이 점수를 보정한다.

실험 결과

연구 질문

• RQ1 딥 네트워크 모델은 대화 맥락에서 발화와 대화 행위 수준의 계층적 의미 표현을 효과적으로 포착할 수 있는가?
• RQ2 지역적 발화 특징을 초월하는 의존성을 모델링함으로써, 구조적 어텐션 메커니즘이 대화 행위 인식 성능 향상에 어느 정도 기여하는가?
• RQ3 어텐션 기반 기법과 더 풍부한 CRF의 구조적 의존성 통합이 기존의 표준 CRF 또는 어텐션 전용 모델보다 성능 향상에 기여하는가?
• RQ4 구조적 어텐션과 메모리 기반 기법을 통한 엔드 투 엔드 훈련이 인간 평가자 성능과의 격차를 줄이는 데 효과적인가?
• RQ5 표준 벤치마크인 SWDA 및 MRDA에서 제안된 모델은 최신 기술 수준의 방법들과 비교해 어떠한가?

주요 결과

• 제안된 CRF-ASN 모델은 Switchboard 대화 행위(SWDA) 및 미팅 레코더 대화 행위(MRDA) 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• SWDA 데이터셋에서 모델은 인간 평가자 정확도와 2% 이내의 격차를 보이며, 인간 수준에 근접한 성능을 입증한다.
• 계층적 의미 추론과 메모리 기반 기법의 통합은 대화 턴 간의 장거리 의존성 모델링에 있어 뚜렷한 향상을 이룬다.
• CRF 레이어 내부의 구조적 어텐션 메커니즘은 인접한 발화 간의 문맥적 영향력과 그에 해당하는 대화 행위 레이블 간의 관계를 효과적으로 포착한다.
• 모델은 F1 점수와 정확도 측면에서 DRLM-Conditional, LSTM-Softmax, RCNN 등 기존 최신 기술 수준의 방법들을 모두 능가한다.
• 엔드 투 엔드 훈련 전략은 발화 표현과 구조적 예측 간의 효과적인 공동 최적화를 가능하게 하여 수동으로 설계된 특징의 필요성을 제거한다.