[論文レビュー] The User Feedback on SentiWordNet

Andrea Esuli|arXiv (Cornell University)|Jun 6, 2013

Semantic Web and Ontologies参考文献 2被引用数 5

ひとこと要約

本論文では、SentiWordNet 3.0 に対するユーザーのフィードバックの収集、匿名化、公開を提示している。SentiWordNet 3.0 は、WordNet の synset に肯定的、否定的、客観的スコアを割り当てる語彙的リソースである。フィードバックは、再設計された Web インターフェースとダウンロードポータルを通じて収集され、1,209 個の異なる IP アドレスから、元の値を確認したものが 63.7% を占め、CC BY-SA 3.0 の下で公開され、今後のリソースの改善に利用可能である。

ABSTRACT

With the release of SentiWordNet 3.0 the related Web interface has been restyled and improved in order to allow users to submit feedback on the SentiWordNet entries, in the form of the suggestion of alternative triplets of values for an entry. This paper reports on the release of the user feedback collected so far and on the plans for the future.

研究の動機と目的

• 自動生成された感情スコアの正確性を向上させるために、SentiWordNet エントリに対するユーザーのフィードバックを収集・保存すること。
• WHOIS ロックアップを用いて地理的メタデータを保持しつつ、IP アドレスを匿名化することで、プライバシー懸念に対処すること。
• 誤ってまたは低効率な確認を減らすために、インターフェースを再設計することで、フィードバックの質を向上させること。
• 将来的な分析や品質評価のため、フィードバックの出どころ（検索 vs. ダウンロードインターフェース）を区別すること。
• 研究や感情リソースの精緻化を支援するため、パーソナライズ可能なライセンスの下でフィードバックデータを公開すること。

提案手法

• synset ページに「フィードバック！」ボタンを設置し、代替感情スコアの送信を可能にするフィードバックダイアログを備えた再設計済み Web インターフェースを導入した。
• フィードバック収集を 2 つのソースから行う：インタラクティブ検索インターフェースと、ダウンロードリンクの前にフィードバックダイアログを表示するダウンロードページ。
• IP アドレスを一意の識別子に置き換え、正確なタイムスタンプを削除した上で、WHOIS ジオロケーションにより国コードを追加することで、ユーザーの IP アドレスを匿名化した。
• インクリメンタル ID、synset ID、品詞、元の肯定的・否定的スコアとユーザーが提出したスコア、日付、匿名化された IP、国コード、語義ペアのフィールドをタブ区切りで構造化したフィードバックエントリを定義した。
• フィードバックエントリが少ない synset に優先的にフィードバックをルーティングするメカニズムを実装し、提出の均等な分布を確保した。
• 誤っての確認を減らし、フィードバックの質を向上させるために、元の値を確認するボタンと、代替スコアを提出するボタンの 2 つの別々のボタンを含む、インターフェースを再設計した。

実験結果

リサーチクエスチョン

• RQ1 自動生成された感情スコアに対するユーザーのフィードバックを、スケールを保ちつつ、ユーザーのプライバシーを守って収集する方法は何か？
• RQ2 SentiWordNet へのフィードバックの送信は、地理的にどこから来ているのか、また時間経過とともにどのように変化しているのか？
• RQ3 ユーザーは、元の SentiWordNet スコアをどの程度確認しているのか、あるいは代替の感情スコアを提案しているのか？
• RQ4 検索インターフェースとダウンロードインターフェースという異なるフィードバック収集インターフェースは、ユーザーの貢献の質や意図にどのように影響しているのか？
• RQ5 低効率または重複する提出を減らすために、フィードバック収集プロセスにどのような改善を加えることができるか？

主な発見

• 合計 3,510 件のフィードバックエントリが 1,209 個の異なる IP アドレスから収集され、1 日あたり平均して約 3.5 件の提出が行われた。
• フィードバックの 63.7%（2,236 件）が元の SentiWordNet トリプレットと完全に一致しており、これは高い正確性を示唆しているが、低効率な確認の可能性もある。
• フィードバックは 72 か国から寄せられ、最多は米国（106 件）、中国（157 件）、ドイツ（115 件）であった。一方、350 個の IP アドレスはジオロケーションできなかった。
• フィードバックの送信パターンは 2013 年初頭にピークを迎え、2013 年 2 月に 530 件の送信が確認され、ユーザー参加の急増を示した。
• フィードバックの分布はパワーロウに従っており、522 個の IP が 2 件の提出、153 個が 5 件、唯一 1 個の IP が 200 件の提出をした。これは、少数の活発な貢献者による寄与が顕著であることを示している。
• 誤っての確認を減らし、フィードバックの質を向上させるために、確認ダイアログと 2 つの別々のフィードバックボタンを導入した。