[논문 리뷰] Summaries, Highlights, and Action items: Design, implementation and evaluation of an LLM-powered meeting recap system

Sumit Asthana, Sagih Hilleli외 2명|arXiv (Cornell University)|2023. 07. 28.

Topic Modeling인용 수 9

한 줄 요약

이 논문은 두 가지 LLM 기반 요약 표현(하이라이트와 계층적 회의록)을 설계하고, 시스템을 구축하며, 일곱 명의 사용자를 대상으로 평가하여 개인적 관련성 및 잘못된 귀속과 관련된 약속 가능성과 도전을 발견했다.

ABSTRACT

Meetings play a critical infrastructural role in coordinating work. The recent surge of hybrid and remote meetings in computer-mediated spaces has led to new problems (e.g., more time spent in less engaging meetings) and new opportunities (e.g., automated transcription/captioning and recap support). Advances in dialogue summarization offer the potential for improving post-meeting experiences, but fixed-length summaries often fail to meet diverse needs, such as quick overviews or detailed insights. To address these gaps, we use cognitive science and discourse theories to conceptualize two recap designs: important highlights and a structured, hierarchical minutes view, targeting complementary recap needs. We operationalize these representations into high-fidelity prototypes using dialogue summarization. Finally, we evaluate the representations' effectiveness with seven users in the context of their work meetings at Microsoft. Our results show both recap types are valuable in different contexts, enabling collaboration through discussions and consensus-building. Exploring the meaning of users adding, editing, and deleting from recaps suggests varying alignment for using these actions to improve AI-recap. Our design implications, such as incorporating organizational artifacts (e.g., linking presentations) in recaps and personalizing context, advance the discourse of effective recap designs for organizational work and support past results from cognition studies.

연구 동기 및 목표

• 인지 과학과 담화 이론에 기반한 두 가지 주목할 만한 요약 표현(하이라이트 및 계층적 회의록)을 개념화한다.
• 추출적/추상적 대화 요약 파이프라인을 사용하여 LLM 기반 회의 요약 시스템을 개발한다.
• 정보 작업자와 함께 맥락 내에서 두 가지 사용자 경험을 프로토타입으로 제시하고 평가하여 유용성과 사용자 요구와의 정합성을 평가한다.
• 사용자 상호작용이 시간이 지남에 따라 모델 정합성을 높이기 위한 훈련 신호를 제공하는지 조사한다.

제안 방법

• 두 가지 요약 경험을 구현한다: 하이라이트(추출적+추상적 핵심 포인트 및 실행 항목)와 계층적 회의록(주제별 장, 메모 및 성명 맥락).
• 하이라이트 파이프라인은 추출에 대해 미세조정된 deBERTa를 사용하고 추상적 재작성에 대해 미세조정된 BART를 사용하며 ICSI/AMI 데이터셋으로 학습한다.
• 계층적 파이프라인은 긴 전사를 텍스트 타일링(BERT 기반)으로 챕터로 분할한 다음, 발화 시퀀스로부터 챕터 제목(deBERTa)과 노트(BART)를 생성하며 대규모 회의 발화 데이터셋으로 학습한다.
• 모델은 사용자가 항목을 편집, 추가 또는 제거하여 학습 신호를 생성하고 공유와 같은 협업 기능을 지원하는 웹 프로토타입에 통합된다.
• 평가는 반구조화된 인터뷰에 일곱 명의 참가자를 포함시켜 유용성, 한계 및 사용자 피드백으로부터 학습을 위한 설계 시사점을 탐구했다.

(a) Highlights view

실험 결과

연구 질문

• RQ1 장기간 다자 간 전사에서 회의 요약을 위한 LLM 기반 대화 요약은 얼마나 효과적인가?
• RQ2 두 가지 요약 표현(하이라이트 및 계층적 회의록)이 서로 다른 사용자 요구와 맥락을 다루는가?
• RQ3 사용자 상호작용이 시간이 지남에 따라 요약 모델을 사용자 기대에 맞추는 신호를 제공할 수 있는가?
• RQ4 조직 업무에서 협업 요약 문서를 사용하는 데 있어 혜택과 단점은 무엇인가?

주요 결과

• 대화 요약은 이해하기 쉬웠고 회상, 행동 계획 수립, 공유를 돕는 것으로 나타났다.
• 대명사 해석 및 잘못된 귀속이 존재했고 집단 역학에 영향을 미칠 수 있었다.
• 인지 및 담화 이론에 의해 의미 구성에 계층적이고 챕터 기반의 구조가 지지되었다.
• 하이라이트와 계층적 표현 모두 다양한 맥락에서 유용한 것으로 나타났고, 사용자는 요약 문서를 통한 협업에 관심을 보였다.
• 참여자들은 요약을 편집하고 지시할 수 있었으며 모델 정합성을 위한 신호를 제공했지만 삭제는 항상 고품질의 학습 데이터는 아니었다.
• 본 연구는 자연 상호작용으로부터 학습하는 AI를 설계하여 개인적 관련성과 요약 품질을 향상시키는 데 대한 시사점을 확인한다.

(b) Hierarchical view