[논문 리뷰] MentSum: A Resource for Exploring Summarization of Mental Health Online Posts

Sajad Sotudeh, Nazli Goharian외 1명|arXiv (Cornell University)|2022. 06. 02.

Mental Health via Writing인용 수 4

한 줄 요약

이 논문은 24,000건이 넘는 정신건강 관련 레딧 게시글과 사용자가 작성한 줄임말 요약(요약)을 포함한 대규모 데이터셋인 MentSum을 소개한다. 이는 온라인 정신건강 콘텐츠 요약 연구를 가능하게 한다. 연구에서는 추출형 요약 모델과 개성형 요약 모델을 평가하여, 개성형 모델(BART 등)이 추출형 모델보다 뛰어난 성능을 보였으며, 인간 평가 결과 시스템 생성 요약이 사용자가 작성한 요약보다 유창성, 정보성, 간결성 측면에서 평균적으로 더 선호됨을 확인했다. 다만, 암시적 또는 미묘한 정보를 포착하는 데 어려움이 있음이 드러났다.

ABSTRACT

Mental health remains a significant challenge of public health worldwide. With increasing popularity of online platforms, many use the platforms to share their mental health conditions, express their feelings, and seek help from the community and counselors. Some of these platforms, such as Reachout, are dedicated forums where the users register to seek help. Others such as Reddit provide subreddits where the users publicly but anonymously post their mental health distress. Although posts are of varying length, it is beneficial to provide a short, but informative summary for fast processing by the counselors. To facilitate research in summarization of mental health online posts, we introduce Mental Health Summarization dataset, MentSum, containing over 24k carefully selected user posts from Reddit, along with their short user-written summary (called TLDR) in English from 43 mental health subreddits. This domain-specific dataset could be of interest not only for generating short summaries on Reddit, but also for generating summaries of posts on the dedicated mental health forums such as Reachout. We further evaluate both extractive and abstractive state-of-the-art summarization baselines in terms of Rouge scores, and finally conduct an in-depth human evaluation study of both user-written and system-generated summaries, highlighting challenges in this research.

연구 동기 및 목표

• 정신건강 관련 소셜미디어 게시글 요약을 위한 도메인 특화 데이터셋의 부족을 해결하기 위해, 특히 상담사가 신속하게 선별할 수 있도록 지원하는 데 목적이 있다.
• 43개의 정신건강 관련 레딧 서브레딧에서 유래한 고품질, 개인정보 보호가 보장된 게시글 데이터셋을 구축하며, 각 게시글은 간결한 사용자 생성 TL;DR 요약과 짝을 이룬다.
• 자동 평가(ROUGE) 및 인간 평가 지표를 사용하여 이 새로운 데이터셋에서 최신 추출형 및 개성형 요약 모델의 성능을 평가한다.
• 유창성, 정보성, 간결성 측면에서 시스템 생성 요약과 사용자가 작성한 TL;DR를 비교하기 위한 상세한 인간 평가를 수행한다.
• 현재 요약 모델의 지속적인 과제, 예를 들어 암시적 내용이나 미묘한 정보를 놓치는 것, 표면 수준의 신호에 과도하게 의존하는 것 등을 특정하여 향후 연구를 안내한다.

제안 방법

• 레딧의 43개 공개 정신건강 서브레딧에서 24,000건 이상의 사용자 게시글을 선별하여, 우울증, 불안, ADHD 등 다양한 정신건강 상태를 포함하도록 다양성을 확보했다.
• 각 게시글에 대해 사용자가 작성한 TL;DR 요약(짧고 독립적인 요약)을 수집하여, 요약 평가의 기준이 되는 황금 표준 기준(reference)으로 활용했다.
• ROUGE 점수를 사용하여 추출형(예: Lead-3, BERT 기반) 및 개성형(예: BART, T5) 요약 모델의 자동 성능을 평가했다.
• 100개의 무작위로 선별된 게시글-요약 쌍에 대해 인간 평가를 수행하였으며, 쌍대 비교 설정을 통해 유창성, 정보성, 간결성 수준을 평가했다.
• 시스템 생성 요약의 오류 분석을 수행하여 고장 유형을 특정하였으며, 이는 암시된 내용 누락, 반복, 과잉 또는 과소 요약 등이 포함되었다.
• 공개된 게시글임에도 불구하고 사용자 개인정보 보호 및 윤리적 데이터 사용을 확보하기 위해 데이터 사용 계약(DUA)을 적용했다.

실험 결과

연구 질문

• RQ1 추출형 및 개성형 요약 모델은 레딧의 새로운 도메인 특화 정신건강 게시글 데이터셋에서 어떻게 성능을 발휘하는가?
• RQ2 시스템 생성 요약이 사용자가 작성한 TL;DR와 비교해 유창성, 정보성, 간결성 측면에서 어느 정도 우월한가?
• RQ3 현재 요약 모델이 정신건강 콘텐츠에 적용되었을 때, 추론 및 미묘한 정보 처리에 있어 주요 고장 유형은 무엇인가?
• RQ4 추출형 모델과 이상적 상한선(OracleExt) 사이의 성능 격차는 정신건강 텍스트 요약을 위한 추출형 요약 연구에 향후 어떤 영향을 미치는가?
• RQ5 정신건강 게시글의 특성, 예를 들어 약한 주도 문장 편향 또는 높은 개성성 등은 요약 모델에 어떤 고유한 과제를 야기하는가?

주요 결과

• 모든 평가된 모델 중에서 개성형 모델인 BART가 가장 높은 ROUGE 점수를 기록하여 추출형 기반 모델들을 압도했다.
• 사용자가 작성한 TL;DR는 인간이 작성한 것이지만, 평균적으로 시스템 생성 요약이 유창성, 정보성, 간결성 측면에서 더 선호됨을 확인했다.
• 추출형 모델들은 OracleExt 상한선에서 상당한 성능 격차를 보이며, 이 도메인에서 추출형 요약의 향상 여지가 크다는 것을 시사했다.
• 시스템 생성 요약은 사용자가 작성한 TL;DR보다 우울증, GAD, 공황장애 등 진단된 정신건강 상태를 더 완전히 포착하는 경향이 있었다. 일부 사용자 요약은 세부 정보를 누락하기도 했다.
• 주요 과제로는 모델가 암시적, 맥락 기반 정보(예: 정서적 부담, 사회적 영향 등)를 인식하지 못하는 것이 있었으며, 이는 일부 사용자 TL;DR에는 존재하지만 원본 게시글에는 명시되어 있지 않은 내용이었다.
• 어느 정도의 사례에서는 사용자가 작성한 TL;DR가 시스템 생성 요약보다 더 간결하지 않아, 모델가 핵심 포인트를 유지하면서 효과적으로 정보를 압축할 수 있음을 시사했다.