[論文レビュー] Proxona: Supporting Creators' Sensemaking and Ideation with LLM-Powered Audience Personas

Yoonseo Choi, Eun Jeong Kang+3 more|arXiv (Cornell University)|Aug 20, 2024

Persona Design and Applications被引用数 4

ひとこと要約

Proxona は、クリエイターの YouTube コメントからデータドリブンなオーディエンス・ペルソナを生成する LLM ベースのシステムであり、オーディエンス理解とコンテンツ考案を向上させる。コメントから次元と値を抽出し、それらをクラスタリングして合成されたペルソナを作成することで、クリエイターはこれらのペルソナと会話することで実行可能なインサイトを獲得でき、より情報に基づいた、オーディエンス中心のコンテンツ意思決定が可能になる。この効果は技術的評価および11名のクリエイターを対象としたユーザースタディで裏付けられている。

ABSTRACT

A content creator's success depends on understanding their audience, but existing tools fail to provide in-depth insights and actionable feedback necessary for effectively targeting their audience. We present Proxona, an LLM-powered system that transforms static audience comments into interactive, multi-dimensional personas, allowing creators to engage with them to gain insights, gather simulated feedback, and refine content. Proxona distills audience traits from comments, into dimensions (categories) and values (attributes), then clusters them into interactive personas representing audience segments. Technical evaluations show that Proxona generates diverse dimensions and values, enabling the creation of personas that sufficiently reflect the audience and support data grounded conversation. User evaluation with 11 creators confirmed that Proxona helped creators discover hidden audiences, gain persona-informed insights on early-stage content, and allowed them to confidently employ strategies when iteratively creating storylines. Proxona introduces a novel creator-audience interaction framework and fosters a persona-driven, co-creative process.

研究の動機と目的

• クリエイターが基本的なデモグラフィック要因を超えて、オーディエンスの動機や好みを理解する困難さに対処すること。
• プラットフォームの定量的アナリティクスと定性的なオーディエンスフィードバックの間のギャップを埋め、コメントを実行可能なオーディエンスインサイトに変換すること。
• 自然言語による対話が可能な合成オーディエンス・ペルソナを提供することで、クリエイターがコンテンツ計画の初期段階で支援を受けること。
• トレンド・チェイジングへの依存を減らし、多様なオーディエンスの視点に基づいてコンテンツを共同で作成するのを支援すること。
• コンテンツ制作の前段階でオーディエンスフィードバックを統合するためのスケーラブルで AI を補完する方法を提供すること。

提案手法

• LLM を用いて YouTube コメントを分析し、次元（例：関心、専門知識レベル）と値（次元内での具体的な属性）の2軸に沿って、潜在的なオーディエンス特性を抽出する。
• コメントの長さに基づいてフィルタリングし、少数の例を用いたプロンプトを適用してコメントを次元に分類し、値を抽出することで、幻覚のリスクを最小限に抑える。
• 埋め込みベースの類似度手法を用いて、類似した次元と値の組み合わせをクラスタリングし、代表的なオーディエンス・ペルソナを生成する。
• 実際のコメントから導かれた文脈的な特徴、動機、経験に基づいて、インタラクティブで架空化されたオーディエンスプロフィールとしてペルソナを提示する。
• クリエイターが自然言語による会話でペルソナとやり取りし、フィードバックを収集し、コンテンツアイデアをテストし、ストーリー展開を洗練できるようにする。
• 技術的評価（正確性、特徴の明確さ、幻覚率）および11名の YouTube クリエイターを対象としたユーザースタディを通じて、ペルソナの品質を検証する。

Figure 1. Exploration page where creators can explore their audience personas, associated dimensions and values , and proceeding conversations by asking natural language questions to personas. Creators can add a new persona by configuring dimensions and values , if necessary.

実験結果

リサーチクエスチョン

• RQ1 LLM をどのように活用して、非構造化された動画コメントから意味のあるオーディエンスの次元と値を抽出できるか？
• RQ2 LLM が生成するペルソナは、実際のオーディエンスの多様性と好みをどの程度反映しているのか。また、幻覚をどのように最小限に抑えることができるか？
• RQ3 クリエイターは、コンテンツ計画とアイデア出しの文脈で、オーディエンス・ペルソナをどのように認識し、活用しているか？
• RQ4 ペルソナベースの対話は、コンテンツ戦略の質とオーディエンスとの整合性をどのように向上させることができるか？
• RQ5 このようなシステムは、実際のクリエイティブ作業フローにどのように統合できるか？

主な発見

• 技術的評価では、Proxona のパイプラインが関連性が高く、明確に区別され、幻覚が少ないペルソナを生成したことが判明。次元と値の抽出において高い正確性を示した。
• 11名のクリエイターを対象としたユーザースタディでは、Proxona が、アナリティクスだけでは得られなかったオーディエンスの好みや動機に関する新たなインサイトを提供したことが明らかになった。
• クリエイターは、コンテンツ意思決定に対する自信が向上したと報告し、ペルソナとの対話が、より多様でオーディエンスに合ったコンテンツのアイデア出しを可能にしたと述べた。
• 参加者たちは、ペルソナとの対話が、実際のオーディエンスメンバーとの共同作成に似た、より協働的で反復的なコンテンツ開発プロセスを支援したと報告した。
• このシステムは、トレンド・チェイジングから脱却し、特定のオーディエンス層に響くコンテンツを作成するのを特に効果的に支援した。
• 制限事項として、長さに基づくコメントフィルタリングによるバイアスと、コメントデータが少ない初期段階のクリエイターにとっては有用性が低いことが判明した。

Figure 2. Creation page where creators write a video storyline, proceed conversation about their plot, and request feedback on their written content.