[논문 리뷰] Summarizing Decisions in Spoken Meetings

Lu Wang, Claire Cardie|arXiv (Cornell University)|2016. 06. 25.

Topic Modeling참고 문헌 24인용 수 12

한 줄 요약

이 논문은 대화 행위(DA) 수준 및 토큰 수준에서의 요약과 논의 맥락을 통합하여, 말하는 회의에서의 결정 관련 대화 행위(DRDAs)를 군집화하고, 이를 바탕으로 비지도 및 지도 학습 요약 기법을 적용함으로써 간결한 결정 개요를 생성하는 프레임워크를 제안한다. 연구 결과, 토큰 수준의 요약 기법이 논의 맥락을 고려할 경우, 금표 기준 대화 행위 요약의 성능에 근접하며, 비지도 LDA 기반 군집화가 지도 학습 기반 SVM 군집화와 유사한 성능(ROUGE-F1 0.22 대비 0.23)을 기록함을 확인하였다.

ABSTRACT

This paper addresses the problem of summarizing decisions in spoken meetings: our goal is to produce a concise {\it decision abstract} for each meeting decision. We explore and compare token-level and dialogue act-level automatic summarization methods using both unsupervised and supervised learning frameworks. In the supervised summarization setting, and given true clusterings of decision-related utterances, we find that token-level summaries that employ discourse context can approach an upper bound for decision abstracts derived directly from dialogue acts. In the unsupervised summarization setting,we find that summaries based on unsupervised partitioning of decision-related utterances perform comparably to those based on partitions generated using supervised techniques (0.22 ROUGE-F1 using LDA-based topic models vs. 0.23 using SVMs).

연구 동기 및 목표

• 말하는 회의에서 자주 산산이 찢어지고 교차적으로 나타나는 결정들에 대해 간결하고 해석 가능한 요약을 생성하는 데 도전하는 것.
• 결정 관련 대화 행위(DRDAs)를 군집화하는 데 있어 비지도 및 지도 학습 방법의 효과성을 비교하는 것.
• 논의 맥락을 통합할 경우 결정 요약의 품질과 해석 가능성 향상 여부를 평가하는 것.
• 진짜 군집화가 제공될 경우, 토큰 수준 요약이 DA 수준 요약보다 우수한 성능을 보이는지 조사하는 것.
• 비지도 군집화(LDA 등)가 지도 학습 군집화(SVM 등)와 유사한 품질의 결정 요약을 생성할 수 있는지 확인하는 것.

제안 방법

• 결정 관련 대화 행위(DRDAs)를 군집화하기 위해 비지도(SVM, MaxEnt, CRF) 및 지도 학습(SVM, MaxEnt, CRF) 방법을 사용하여 발화를 결정 기반으로 묶는다.
• 각 군집에서 가장 정보량이 많은 DRDAs를 선택하고 연결함으로써 DA 수준 요약을 수행한다.
• 선택된 DRDAs를 압축하여 간결한 결정 요약으로 만드는 데 지도 학습 모델(SVM, MaxEnt)을 사용한 토큰 수준 요약을 수행한다.
• 요약의 품질과 해석 가능성 향상을 위해 상위 20개의 관련 DAs를 포함한 논의 맥락을 통합한다.
• 평가를 위해 ROUGE-F1을 사용하여 시스템 출력 결과를 AMI 회의 코퍼스의 금표 기준 결정 요약과 비교한다.
• AMI 회의 코퍼스를 대상으로 실험를 수행하였으며, 기능어 제거 및 군집화 방법에 대한 분석 실험도 실시하였다.

실험 결과

연구 질문

• RQ1 비지도 군집화가 결정 관련 대화 행위(DRDAs)를 군집화하여 지도 학습 기반 군집화와 유사한 품질의 결정 요약을 생성할 수 있는가?
• RQ2 논의 맥락을 통합할 경우 토큰 수준 요약의 품질과 해석 가능성은 향상되는가?
• RQ3 진짜 군집화가 제공될 경우, 토큰 수준 요약이 DA 수준 요약보다 뛰어나게 성능을 발휘하는가?
• RQ4 다양한 요약 프레임워크(비지도 대비 지도 학습) 간의 ROUGE-F1 성능은 어떻게 비교되는가?
• RQ5 기능어의 영향은 요약 성능에 얼마나 큰가? 그리고 기능어를 제거하면 성능 향상이 이루어지는가?

주요 결과

• 진짜 군집화와 SVM 기반 요약을 사용할 경우, 토큰 수준 요약이 논의 맥락을 고려하여 ROUGE-F1 0.23을 기록하며, 대화 행위 기반 요약의 상한선에 근접한다.
• 비지도 LDA 기반 군집화는 ROUGE-F1 0.2214를 기록하여 지도 학습 기반 SVM 군집화(0.2349)와 유사한 성능을 보이며, CRF 기반 군집화(0.1935)와도 유사한 결과를 얻었다.
• 진짜 군집화가 제공되지 않을 경우 DA 수준 요약이 토큰 수준 요약보다 우수하지만, 군집화가 정확할 경우 토큰 수준 요약이 뛰어난 성능을 보인다.
• 논의 맥락은 토큰 수준 요약의 성능 향상에 기여하지만, DA 수준 요약에는 유의미한 향상 효과가 없다.
• 금표 기준 요약에서 기능어를 제거해도 성능 향상이 유의미하게 나타나지 않아, 어휘 불일치가 주요 요인은 아님을 시사한다.
• 모든 요약 작업에서 SVM이 CRF보다 항상 우수하거나 동등한 성능을 보이며, 결정 요약 분야에서의 강건성을 입증한다.