[論文レビュー] DiSCo: Making Absence Visible in Intelligent Summarization Interfaces
DiSCo は、AI が生成する要約におけるドメイン規範からの欠落や逸脱を期待値ベースで抽出し、ベースラインの出現のみに焦点を当てた要約より詳細さと意思決定支援を向上させる。スキー、ビーチ、都心のドメインにわたるユーザ研究は、読みやすさが若干低下する一方で知覚的有用性の向上を示した。
Intelligent interfaces increasingly use large language models to summarize user-generated content, yet these summaries emphasize what is mentioned while overlooking what is missing. This presence bias can mislead users who rely on summaries to make decisions. We present Domain Informed Summarization through Contrast (DiSCo), an expectation-based computational approach that makes absences visible by comparing each entity's content with domain topical expectations captured in reference distributions of aspects typically discussed in comparable accommodations. This comparison identifies aspects that are either unusually emphasized or missing relative to domain norms and integrates them into the generated text. In a user study across three accommodation domains, namely ski, beach, and city center, DiSCo summaries were rated as more detailed and useful for decision making than baseline large language model summaries, although slightly harder to read. The findings show that modeling expectations reduces presence bias and improves both transparency and decision support in intelligent summarization interfaces.
研究の動機と目的
- インテリジェント・インターフェースにおける出現ベースの要約の限界と、欠落が診断的価値を持つことを特定する。
- 欠落がドメイントピックの期待値から逸脱を可視化する、ドメイン情報に基づく要約フレームワーク(DiSCo)を開発する。
- 期待値ベースの分析をLLMベースの生成と統合し、欠落を意識した要約を生成する。
- 欠落を意識した要約が、詳細さ・関連性・意思決定支援を向上させるかを評価する。
提案手法
- aggregated domain reviews からドメイントピック期待を構築する。
- レビューからトピックと感情のシグナルを、LLMベースのレコメンダーを用いて抽出する。
- LvS による Accommodation Topical Divergence を計算し、過剰表現および欠落トピックを特定する。
- 発散シグナルをLLM要約生成の構造化プロンプトに組み込む。
- DiSCo 要約と、ベースラインの出現のみ要約を、統制された研究で比較する。
実験結果
リサーチクエスチョン
- RQ1欠落を意識した要約は、出現のみのベースラインと比較して、認識される正確さと有用性を改善するか。
- RQ2DiSCo 要約は、詳細さと意思決定支援を高めるか、読みやすさへの影響はどの程度か。
- RQ3ドメインレベルの期待は、宿泊レビューの解釈にどう影響するか。
主な発見
- DiSCo 要約は、スキー、ビーチ、都心の各ドメインで、より詳細で意思決定に役立つと評価された。
- DiSCo は、ベースライン要約と比較して意思決定支援の認知度を高めた。
- ユーザーは DiSCo 要約の読みやすさがベースラインと比較してやや低下したと認識した。
- DiSCo は、普段は頻出しているトピックと、ドメインで普及しているが欠落しているトピックの両方を効果的に浮かび上がらせる。
- この研究は、期待のモデリングが出現バイアスを低減し、知能的要約インターフェースの透明性を向上させることを支持する。
より良い研究を、今すぐ始めましょう
論文設計から論文執筆まで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。