[논문 리뷰] Unsupervised Topic Modeling Approaches to Decision Summarization in Spoken Meetings

Lu Wang, Claire Cardie|Annual Meeting of the Special Interest Group on Discourse and Dialogue|2016. 06. 24.

Topic Modeling참고 문헌 39인용 수 8

한 줄 요약

이 논문은 말하는 회의에서 요약가치가 있는 단어를 식별하기 위해 발화 수준에서 세밀한 토픽 모델링을 활용하는 비지도, 토큰 수준의 결정 요약 프레임워크를 제안한다. LocalLDA와 STM 토픽 모델이 ROUGE 점수에서 기준 발화 순위 방법과 지도 학습 방법을 모두 능가함을 입증하였으며, 특히 맥락 정보를 통합할 경우 성능이 향상되어 결정 관련 발화만으로 계산한 상한선을 초월하는 ROUGE-1 재현율을 달성한다.

ABSTRACT

We present a token-level decision summarization framework that utilizes the latent topic structures of utterances to identify "summary-worthy" words. Concretely, a series of unsupervised topic models is explored and experimental results show that fine-grained topic models, which discover topics at the utterance-level rather than the document-level, can better identify the gist of the decision-making process. Moreover, our proposed token-level summarization approach, which is able to remove redundancies within utterances, outperforms existing utterance ranking based summarization methods. Finally, context information is also investigated to add additional relevant information to the summary.

연구 동기 및 목표

• 말하는 회의에서 발화가 자주 불완전하고 반복적이며 불순한 점을 감안할 때, 간결하고 집중적인 결정 요약을 추출하는 데 도전하는 것.
• 인간 레이블링된 학습 데이터가 필요 없이도 주요 단어와 어구를 식별할 수 있는 비지도 토픽 모델링 접근법을 탐색하는 것.
• 伝통적인 문서 수준의 모델보다 세밀한 발화 수준의 토픽 모델이 결정 관련 콘텐츠를 더 잘 포착하는지 평가하는 것.
• 대화 맥락 정보를 통합하여 누락되거나 암시된 결정 구성 요소를 복구하는 데 미치는 영향을 조사하는 것.
• 발화 수준의 추출 방법보다 더 컴act하고 정확한 요약을 가능하게 하는 토큰 수준의 요약 프레임워크를 개발하는 것.

제안 방법

• 프레임워크는 발화 수준에서 잠재된 토픽 구조를 발견하기 위해 발화 수준에서 학습된 비지도 토픽 모델—특히 LocalLDA와 STM(구조적 토픽 모델)—를 사용한다.
• 요약가치 있는 토큰은 주제 관련성과 주제 간 확률 분포에 기반하여 선택되며, 이는 토큰 수준의 추출 요약 접근법을 가능하게 한다.
• 결정 관련이 아닌 인접한 발화에서 얻은 맥락 정보를 통합하여 누락된 결정 구성 요소를 복구한다. 예를 들어, 결정 관련 발화에 명시적으로 언급되지 않은 '파워 버튼'이나 '고급 칩' 등의 구성 요소를 복구한다.
• 시스템은 ROUGE-1, ROUGE-2, ROUGE-SU4 지표를 사용하여 기준 방법(가장 긴 DA, 프로토타입 DA)과 동일한 특징으로 학습된 지도 학습 방법(SVM, CRF)과 성능을 비교한다.
• 지도 학습 모델에 대해 교차 검증을 사용하고, 맥락 유무에 따라 5개 및 10개 주제 군집에 대해 결과를 보고한다.
• 프레임워크는 결정 관련 대화 액션(DRDAs)과 골드 표준 결정 요약을 중심으로 AMI 회의 코퍼스에서 평가된다.

실험 결과

연구 질문

• RQ1 말하는 회의에서 결정 관련 콘텐츠를 식별하는 데 있어, 발화 수준의 토픽 모델링이 문서 수준의 토픽 모델링보다 우월한가?
• RQ2 대화 맥락 정보를 통합하면 결정 요약의 완전성과 정확성이 향상되는가?
• RQ3 주제 모델에 기반한 비지도 토큰 수준의 요약이 지도 학습 방법과 비교해 유사하거나 더 뛰어난 성능을 내는가?
• RQ4 LocalLDA와 STM과 같은 세밀한 토픽 모델은 결정 요약의 ROUGE 지표에서 전통적인 추출 방법보다 어떻게 비교되는가?
• RQ5 맥락이 결정 관련 발화에서 누락된 정보를 얼마나 잘 보완할 수 있는가?

주요 결과

• LocalLDA와 STM는 맥락 정보를 통합했을 때 각각 ROUGE-1 재현율 25.96과 30.03을 기록하여 지도 학습 CRF(15.25)와 SVM(18.45)보다 높다.
• 맥락 정보를 추가하면 LocalLDA와 STM의 ROUGE-1 재현율이 향상되어 단지 DRDA에서 계산한 상한선을 초월한다.
• 세밀한 토픽 모델을 사용한 토큰 수준의 요약은 ROUGE 지표 전반에서 발화 순위 기반 기준 방법(예: 가장 긴 DA, 프로토타입 DA)을 능가한다.
• STM 모델은 맥락 정보를 통합했을 때 가장 높은 ROUGE-1 F1 점수(24.47)와 ROUGE-SU4 F1 점수(4.76)를 기록하여 모든 다른 방법을 능가한다.
• 이 프레임워크는 '고급 칩'이나 '파워 버튼'과 같은 누락된 결정 구성 요소를 맥락 발화를 활용하여 성공적으로 복구하여, 불완전한 DRDA를 보완할 수 있는 능력을 입증한다.
• 결과는 말하는 회의에서 결정 관련 의미적 콘텐츠를 포착하는 데 있어, 문서 수준의 모델링보다 발화 수준에서의 비지도 토픽 모델링이 더 효과적이라는 것을 보여준다.