[논문 리뷰] Proxona: Supporting Creators' Sensemaking and Ideation with LLM-Powered Audience Personas

Yoonseo Choi, Eun Jeong Kang외 3명|arXiv (Cornell University)|2024. 08. 20.

Persona Design and Applications인용 수 4

한 줄 요약

Proxona는 대규모 언어 모델(Large Language Model, LLM) 기반 시스템으로, 크리에이터의 유튜브 댓글에서 데이터 기반의 청중 프로필을 생성하여 청중 이해도를 향상시키고 콘텐츠 기획을 지원합니다. 댓글에서 차원과 값들을 추출하여 그룹화하고, 이를 바탕으로 합성된 프로필로 청중 프로필을 생성함으로써 크리에이터가 이러한 프로필과 대화를 나누어 실질적인 통찰을 확보할 수 있도록 합니다. 이는 더 나은 청중 중심의 콘텐츠 결정을 이끌어내며, 기술적 평가와 11명의 크리에이터를 대상으로 한 사용자 연구를 통해 검증되었습니다.

ABSTRACT

A content creator's success depends on understanding their audience, but existing tools fail to provide in-depth insights and actionable feedback necessary for effectively targeting their audience. We present Proxona, an LLM-powered system that transforms static audience comments into interactive, multi-dimensional personas, allowing creators to engage with them to gain insights, gather simulated feedback, and refine content. Proxona distills audience traits from comments, into dimensions (categories) and values (attributes), then clusters them into interactive personas representing audience segments. Technical evaluations show that Proxona generates diverse dimensions and values, enabling the creation of personas that sufficiently reflect the audience and support data grounded conversation. User evaluation with 11 creators confirmed that Proxona helped creators discover hidden audiences, gain persona-informed insights on early-stage content, and allowed them to confidently employ strategies when iteratively creating storylines. Proxona introduces a novel creator-audience interaction framework and fosters a persona-driven, co-creative process.

연구 동기 및 목표

• 기초적인 인구통계학적 정보를 넘어서 청중의 동기와 선호도를 이해하는 데 어려움을 겪는 크리에이터의 문제를 해결하기 위해.
• 플랫폼 분석의 정량적 데이터와 댓글의 정성적 피드백 간 격차를 해소하기 위해, 댓글을 실질적인 청중 통찰으로 전환함으로써.
• 자연어 상호작용을 통해 합성된 청중 프로필과의 대화를 가능하게 하여 콘텐츠 기획의 초도 단계에서 크리에이터를 지원하기 위해.
• 트렌드 추종에 의존하는 것을 줄이고, 다양한 청중 시각을 기반으로 콘텐츠를 공동 기획할 수 있도록 돕기 위해.
• 콘텐츠 제작 이전 단계에서 청중 피드백을 창작 과정에 지속적으로 통합할 수 있는 확장 가능한 AI 보조 방법을 제공하기 위해.

제안 방법

• LLM을 활용해 유튜브 댓글을 분석하고, 관심사, 전문 수준 등과 같은 차원과 그 안에 포함된 특정 속성인 값들을 추출함.
• 길이 기반 필터링을 거친 후, 소수의 예시를 활용한 프ompting을 통해 댓글을 차원으로 분류하고 값들을 추출함으로써 환상적 생성 위험을 최소화함.
• 임베딩 기반 유사도 방법을 사용해 유사한 차원과 값 조합을 기반으로 별도의 대표성 있는 청중 프로필로 군집화함.
• 실제 댓글에서 유래한 맥락화된 특성, 동기, 경험을 바탕으로 가상화된 청중 프로필로 프로필을 제시함.
• 크리에이터가 자연어 대화를 통해 프로필과 상호작용하여 피드백을 요청하고 콘텐츠 아이디어를 시험하며 스토리라인을 다듬을 수 있도록 지원함.
• 기술적 평가(정밀도, 고유성, 환상 생성 비율)와 11명의 유튜브 크리에이터를 대상으로 한 사용자 연구를 통해 프로필 품질을 검증함.

Figure 1. Exploration page where creators can explore their audience personas, associated dimensions and values , and proceeding conversations by asking natural language questions to personas. Creators can add a new persona by configuring dimensions and values , if necessary.

실험 결과

연구 질문

• RQ1 비정형 영상 댓글에서 의미 있는 청중 차원과 값을 추출하기 위해 LLM을 어떻게 활용할 수 있는가?
• RQ2 LLM이 생성한 프로필이 실제 청중의 다양성과 선호도를 얼마나 잘 반영하고 있으며, 환상 생성은 어떻게 최소화할 수 있는가?
• RQ3 크리에이터는 콘텐츠 기획 및 아이디어 기획의 맥락에서 청중 프로필을 어떻게 인식하고 활용하는가?
• RQ4 프로필 기반 상호작용은 콘텐츠 전략의 품질과 청중 대상 맞춤도를 어떻게 향상시킬 수 있는가?
• RQ5 이러한 시스템은 실제 콘텐츠 크리에이터의 창작 워크플로우에 어떻게 통합될 수 있는가?

주요 결과

• 기술적 평가 결과, Proxona의 파이프라인은 관련성 있고 고유하며 환상 생성 비율이 낮은 프로필을 생성했으며, 차원과 값 추출의 정밀도가 높았습니다.
• 11명의 크리에이터를 대상으로 한 사용자 연구에서, Proxona가 기존 분석 도구만으로는 확보할 수 없었던 청중 선호도 및 동기의 새로운 통찰을 제공함을 확인했습니다.
• 크리에이터들은 콘텐츠 결정에 대한 자신감이 향상되었으며, 프로필 상호작용이 더 다양한 청중 중심의 콘텐츠 기획을 도와주었다고 보고했습니다.
• 참가자들은 프로필 상호작용이 실제 청중 구성원과의 공동 창작과 유사한 협업적이고 반복적인 콘텐츠 개발 과정을 지원한다고 평가했습니다.
• 이 시스템은 특히 트렌드 추종에서 벗어나 특정 청중 세그먼트에 맞는 콘텐츠를 제작하는 데 효과적이었습니다.
• 한계점으로는 길이 기반 댓글 필터링으로 인한 편향과 초기 단계의 크리에이터가 댓글 데이터가 부족하여 시스템의 활용도가 낮아질 수 있다는 점이 지적되었습니다.

Figure 2. Creation page where creators write a video storyline, proceed conversation about their plot, and request feedback on their written content.