[論文レビュー] A Computational Analysis of Collective Discourse

Vahed Qazvinian, Dragomir Radev|arXiv (Cornell University)|Apr 16, 2012

Complex Network Analysis Techniques参考文献 36被引用数 4

ひとこと要約

本稿では、非専門家が作成したオンラインコンテンツにおける集団的ディス course（議論）の計算的分析を提示しており、映画レビュー、マイクロブログ、引用情報などのユーザ生成テキストに見られる多様な視点が、高いクラスタリング係数と短い平均パス長を示す小規模世界ネットワークを形成することを示している。本研究では、単純な頻度ベースの集約手法が、映画のジャンルなどの事実的属性を正確に抽出可能であることを示しており、ランダムな推測をはるかに上回る結果を示しており、非構造的で非専門的なユーザ入力において集団知性が顕在している証拠となっている。

ABSTRACT

This paper is focused on the computational analysis of collective discourse, a collective behavior seen in non-expert content contributions in online social media. We collect and analyze a wide range of real-world collective discourse datasets from movie user reviews to microblogs and news headlines to scientific citations. We show that all these datasets exhibit diversity of perspective, a property seen in other collective systems and a criterion in wise crowds. Our experiments also confirm that the network of different perspective co-occurrences exhibits the small-world property with high clustering of different perspectives. Finally, we show that non-expert contributions in collective discourse can be used to answer simple questions that are otherwise hard to answer.

研究の動機と目的

• オンラインソーシャルメディアにおける非専門家の寄与が、賢明な群衆の基準とされる視点の多様性を示すかどうかを調査すること。
• 特にクラスタリングや小規模世界的性質といったネットワーク特性を含む、集団的ディス course における共起的視点の構造的性質を分析すること。
• 個々の情報源では解決が難しい事実的質問に、集約された非専門家の寄与がどのように対応できるかを評価すること。
• 映画のジャンルタグ付けなどの事実的抽出（factoid extraction）といった実用的NLPタスクにおける集団的ディス course の有用性を示すこと。
• 計算言語学、ネットワーク科学、社会理論を統合することで、集団的ディス course をモデル化する基盤を構築すること。

提案手法

• 映画レビュー、マイクロブログ、ニュース見出し、科学的引用情報といった多様なデータセットを収集・分析し、集団的ディス course を研究する。
• トピックごとの固有の視点数を数えることで視点の多様性を測定し、アイテムごとの異なる視点数に基づいた正規化された多様性スコアを用いる。
• 異なる視点の共起をネットワークとしてモデル化し、ノードを視点、エッジを同じ文書内で共起する関係とする。
• ネットワーク解析を適用し、視点の共起ネットワークが高いクラスタリング係数と短い平均パス長を示す小規模世界的性質を有することを示す。
• レビュー内における視点用語（例：映画のジャンル）の出現頻度を用いて、事実的属性をランク付け・抽出し、平均平均精度（MAP）およびFスコアを用いて評価する。
• 信頼区間を用いて、レビュー数の変動に伴う性能の安定性を評価し、ランダムサンプリングを用いて異なるデータサイズを模擬する。

実験結果

リサーチクエスチョン

• RQ1 オンラインディス course における非専門家の寄与は、賢明な群衆の特徴とされる視点の多様性を示すか？
• RQ2 集団的ディス course における共起的視点のネットワークは、高いクラスタリング係数や短いパス長を示す小規模世界的性質を有するか？
• RQ3 集約された非専門家の視点を用いて、非構造的テキストから事実的属性（例：映画のジャンル）を正確に抽出できるか？
• RQ4 ユーザ寄与数の増加に伴い、事実的抽出の性能はどのように変化するか？
• RQ5 個々の寄与者が非専門的であるにもかかわらず、集団的ディス course はどれほど顕在的集団知性を示すか？

主な発見

• 複数のデータセットにわたり、集団的ディス course における視点の多様性は一貫して高く、賢明な群衆の基盤的性質としての役割を果たしていることが確認された。
• 共起的視点のネットワークは小規模世界的性質を示しており、高いクラスタリング係数と短い平均パス長を有しており、多様な見解の間の構造的相互依存性が裏付けられた。
• 映画ジャンル抽出において、本手法は95%信頼区間[0.657, 0.740]を伴うMAP 0.698を達成し、ランダムベースライン（MAP = 0.260）を著しく上回った。
• β=3（上位3件）でのFスコアは0.550、95%信頼区間[0.499, 0.600]を示し、上位k件の検索において優れた性能を発揮した。
• ジャンル抽出の性能は、最初の100件のレビューまでで著しく向上し、より大きなレビュー集合では漸近的安定性に達しており、中程度のサンプルサイズを超えると収益逓減の傾向を示した。
• 結果として、非専門家が生成する集団的ディス course は、単純な事実的質問に対して信頼性高く回答可能であり、非構造的かつ分散型のコンテンツにおいて顕在的集団知性が存在することを示す証拠となった。