[논문 리뷰] Joint Modeling of Content and Discourse Relations in Dialogues

Kechen Qin, Lu Wang외 1명|arXiv (Cornell University)|2017. 05. 14.

Topic Modeling참고 문헌 30인용 수 3

한 줄 요약

이 논문은 구두 회의에서 주요 내용 어휘를 동시에 식별하고 논증적 논의 관계를 예측하기 위해 논증적 논의 구조를 활용하는 공동 모델링 프레임워크를 제안한다. 내용과 논의 간 상호작용을 활용함으로써, 어휘 선택(정확도 63.2%)과 논의 관계 예측(정확도 59.2%)에서 최신 기술 수준의 성능을 달성하였으며, 이전 연구에 비해 이해 일관성 예측 성능(F1: 63.1)을 크게 향상시켰다.

ABSTRACT

We present a joint modeling approach to identify salient discussion points in spoken meetings as well as to label the discourse relations between speaker turns. A variation of our model is also discussed when discourse relations are treated as latent variables. Experimental results on two popular meeting corpora show that our joint model can outperform state-of-the-art approaches for both phrase-based content selection and discourse relation prediction tasks. We also evaluate our model on predicting the consistency among team members' understanding of their group decisions. Classifiers trained with features constructed from our model achieve significant better predictive performance than the state-of-the-art.

연구 동기 및 목표

• 말하기 회의에서 주요 내용 어휘와 논의 관계를 공동으로 모델링하여 내용 선택 및 논의 이해를 향상시키는 것.
• 인간이 주석을 달아준 논의 관계 데이터가 제한적이고 비용이 많이 들기 때문에, 내용과 논의 신호를 공동으로 학습함으로써 이 문제를 해결하는 것.
• 모델이 예측한 논의 및 내용 특징이 이해 일관성 예측과 같은 후행 작업을 향상시킬 수 있는지 평가하는 것.
• 공동 모델링이 여러 회의 코퍼스 벤치마크에서 별도의 모델링 또는 강력한 베이스라인보다 더 우수한 성능을 낼 수 있음을 보여주는 것.

제안 방법

• 모델은 구두 회의에서 연속된 발화 간 주요 어휘(내용)와 논의 관계(예: Twente 논증 구조에서 유래한 논증 관계)를 동시에 예측하는 공동 추론 프레임워크를 사용한다.
• 내용과 논의 레이블 간의 의존성을 모델링하기 위해 조건부 랜덤 필드(CRF)-유사한 설정을 사용하는 구조적 예측 접근법을 채택한다.
• 골드 표준 논의 주석이 제공되지 않을 경우, 훈련 중에 논의 관계를 잠재 변수로 간주하는 모델의 변형을 적용한다.
• 이해 일관성 예측을 위한 특징은 모델 출력에서 유도된다: 이해 일관성 확률 차이, 논의 관계 패턴(길이 1 및 길이 2), 주요 어휘 기반의 단어 통합 점수.
• 이러한 특징을 기반으로 SVM 분류기를 훈련시켜 팀원들이 그룹 결정에 대해 일관된 이해를 공유하는지 여부를 예측한다.
• 모델은 두 개의 회의 코퍼스인 AMI 및 ICSI를 대상으로 하며, 한 사람을 제외한 교차 검증 방식을 사용하여 평가된다.

실험 결과

연구 질문

• RQ1 말하기 회의에서 어휘 기반 내용 선택 성능을 향상시키기 위해 내용과 논의 관계를 공동으로 모델링할 수 있는가?
• RQ2 최신 기술 수준의 모델에 비해 공동 학습이 논의 관계 예측 정확도를 향상시키는가?
• RQ3 공동 모델의 예측에서 파생된 특징이 그룹 토론에서 이해 일관성(COU) 예측 성능을 향상시킬 수 있는가?
• RQ4 훈련 중에 논의 관계를 잠재 변수로 간주할 경우 모델의 성능은 어떻게 되는가?

주요 결과

• 공동 모델은 어휘 선택 과제에서 63.2%의 정확도를 달성하여 SVM 기반 베이스라인을 뛰어넘었다.
• 논의 관계 예측 정확도는 59.2%에 도달하여 최신 기술 수준의 신경망 기반 베이스라인(54.2%)을 초월했다.
• 논의 관계를 잠재 변수로 간주한 경우에도, 모델은 AMI 및 ICSI 양쪽 모두에서 어휘 선택 과제에서 SVM을 능가하는 성능을 보였다.
• 모델이 선택한 어휘를 기반으로 생성한 요약문은 AMI 코퍼스에서 ROUGE-SU4 F1 점수 21.3을 기록하여 베이스라인 및 키워드 선택 방법을 모두 능가했다.
• 이해 일관성 예측 과제에서는 모델 출력 특징을 기반으로 훈련된 SVM 분류기가 F1 점수 63.1을 기록하여 이전 최신 기술 수준의 성능(50.5)을 크게 뛰어넘었다.
• 논의 관계 패턴, 이해 일관성 확률 차이, 단어 통합 특징의 조합이 가장 우수한 COU 예측 성능(F1: 63.1)을 달성했다.