[論文レビュー] Leveraging User Diversity to Harvest Knowledge on the Social Web

Jeon-Hyung Kang, Kristina Lerman|arXiv (Cornell University)|Oct 21, 2011

Multimodal Machine Learning Applications参考文献 23被引用数 3

ひとこと要約

本稿では、ユーザーのアノテーションの構造と内容に基づき、高品質で詳細なタグと階層的組織を特徴とする専門家ユーザーを特定するフレームワークを提案する。この手法は、専門家アノテーションに高い重みを割り当てることで、フォークロノミーの正確性と完全性を向上させるとともに、初心者による貢献が包括的カバレッジを実現するために不可欠であることを示している。

ABSTRACT

Social web users are a very diverse group with varying interests, levels of expertise, enthusiasm, and expressiveness. As a result, the quality of content and annotations they create to organize content is also highly variable. While several approaches have been proposed to mine social annotations, for example, to learn folksonomies that reflect how people relate narrower concepts to broader ones, these methods treat all users and the annotations they create uniformly. We propose a framework to automatically identify experts, i.e., knowledgeable users who create high quality annotations, and use their knowledge to guide folksonomy learning. We evaluate the approach on a large body of social annotations extracted from the photosharing site Flickr. We show that using expert knowledge leads to more detailed and accurate folksonomies. Moreover, we show that including annotations from non-expert, or novice, users leads to more comprehensive folksonomies than experts' knowledge alone.

研究の動機と目的

• ソーシャルウェブプラットフォームにおけるユーザー生成アノテーションの品質変動という課題に対処し、高品質で詳細なアノテーションを提供する専門家ユーザーを同定すること。
• 専門家知識を活用することでフォークロノミー学習を改善し、より正確で詳細な分類体系を実現すること。
• 専門家のみでは到達できない範囲までフォークロノミーの完全性を高めるために、初心者ユーザーが果たす補完的役割を調査すること。
• 専門家ラベリングに中程度の誤りが生じても効果を発揮する、堅牢な専門家同定手法の開発。
• Flickrにとどまらず、Delicious、Bibsonomy、ファイルシステムなどの他の構造化データソースへも一般化可能なアプローチの開発。

提案手法

• Flickrのコレクションやセットなどのユーザーが作成した個人ディレクトリの構造的・言語的特徴（例：ディレクトリの深さ、中間ノード数、タグの意味的整合性）を用いて専門家を同定する。
• ディレクトリの深さ、中間ノード数、タグの意味的整合性といった特徴を用いてトレーニングされた教師あり分類モデルを適用する。
• フォークロノミー推論時に専門家アノテーションに高い重みを割り当てるように、RAP（Relational Affinity Propagation）アルゴリズムを拡張する。
• 推論プロセスにおいて専門家ノードと初心者ノードに優先度値を割り当て、専門家ノードに高い重みを与えて分類体系の構築をガイドする。
• 専門家同定に誤りが生じる状況（最大50％の誤分類）をシミュレートするための堅牢性評価フレームワークを構築し、学習されたフォークロノミーの安定性を検証する。
• Flickrのアノテーションの大規模データセットを用いて、専門家重み付けありとなしの両方で学習されたフォークロノミーを比較検証する。

実験結果

リサーチクエスチョン

• RQ1 ソーシャルウェブプラットフォームにおけるユーザーのアノテーション構造を自動的に分析することで、高品質で詳細なアノテーションを提供する専門家ユーザーを同定できるか？
• RQ2 フォークロノミー学習の過程で専門家アノテーションに重みを割り当てることで、全ユーザーに均等な扱いをした場合と比較して、より正確で詳細な分類体系が得られるか？
• RQ3 初心者ユーザーはフォークロノミーの完全性にどの程度貢献しているのか？また、専門家知識を用いる場合でも、その参加は必要不可欠か？
• RQ4 専門家同定に誤りが生じた場合、特に最大50％の専門家が誤って分類された場合でも、フォークロノミー学習プロセスはどの程度堅牢か？
• RQ5 提案されたフレームワークは、Flickrにとどまらず、eBayのカテゴリーやDeliciousのバンドル、Bibsonomyの関係など、他の構造化データソースに対しても一般化可能か？

主な発見

• RAP推論プロセスにおいて専門家アノテーションに高い重みを割り当てることで、均一な重み付けと比較して、有意に正確で詳細なフォークロノミーが得られる。
• 専門家同定に最大50％の誤りが生じても、学習されたフォークロノミーの品質は安定しており、誤分類に対する強い耐性を示している。
• 専門家知識は正確性と詳細さの観点で不可欠であるが、初心者ユーザーは重複のない独自のタグを提供し、フォークロノミーの完全性を高めている。
• 専門家と初心者アノテーションを組み合わせて学習したフォークロノミーは、専門家のみに依存するものよりも包括的であるため、両者の補完的役割が明確に示された。
• ディレクトリの深さや中間概念の使用といったアノテーションの構造的特徴に基づき、専門家を効果的に同定でき、均一なユーザー重み付けよりも優れた性能を発揮した。
• 本フレームワークは、eBayのカテゴリーやDeliciousのバンドル、Bibsonomyなど、他のデータソースに対しても良好に一般化可能であり、広範な適用可能性を示している。