[論文レビュー] Fighting Authorship Linkability with Crowdsourcing

Mishari Almishari, Ekin Oğuz+1 more|arXiv (Cornell University)|May 19, 2014

Authorship Attribution and Profiling参考文献 16被引用数 5

ひとこと要約

本稿では、コミュニティレビュー投稿プラットフォームにおける著者リンク可能性を低減するため、クラウドソーシングと機械翻訳を活用する手法を提案する。アマゾンのMTurkで無関係な人々にレビューを再執筆させたり、複数の言語に翻訳することで、スタイリスティック特徴が十分に変化し、既存のリンク可能性を特定する手法が無効化されるが、同時に読みやすさと意味内容は保持される。

ABSTRACT

Massive amounts of contributed content -- including traditional literature, blogs, music, videos, reviews and tweets -- are available on the Internet today, with authors numbering in many millions. Textual information, such as product or service reviews, is an important and increasingly popular type of content that is being used as a foundation of many trendy community-based reviewing sites, such as TripAdvisor and Yelp. Some recent results have shown that, due partly to their specialized/topical nature, sets of reviews authored by the same person are readily linkable based on simple stylometric features. In practice, this means that individuals who author more than a few reviews under different accounts (whether within one site or across multiple sites) can be linked, which represents a significant loss of privacy. In this paper, we start by showing that the problem is actually worse than previously believed. We then explore ways to mitigate authorship linkability in community-based reviewing. We first attempt to harness the global power of crowdsourcing by engaging random strangers into the process of re-writing reviews. As our empirical results (obtained from Amazon Mechanical Turk) clearly demonstrate, crowdsourcing yields impressively sensible reviews that reflect sufficiently different stylometric characteristics such that prior stylometric linkability techniques become largely ineffective. We also consider using machine translation to automatically re-write reviews. Contrary to what was previously believed, our results show that translation decreases authorship linkability as the number of intermediate languages grows. Finally, we explore the combination of crowdsourcing and machine translation and report on the results.

研究の動機と目的

• 複数のアカウントを通じて同じ個人が投稿するレビューのスタイリスティックなリンク可能性が引き起こす増大するプライバシーリスクに対処すること。
• クラウドソーシングによる再執筆が、著者のスタイル的特徴を効果的に隠蔽しつつも、レビューの意味内容を保持できるかどうかを調査すること。
• 多言語への機械翻訳がリンク可能性を低下させる影響を評価し、その読みやすさのトレードオフを分析すること。
• クラウドソーシングと翻訳を組み合わせたハイブリッド手法により、プライバシーと有用性の最適なバランスを達成できるかを検討すること。
• 著者がレビュー投稿プラットフォームで匿名化プロセスを自動化できる実用的なプラグインフレームワークを開発すること。

提案手法

• アマゾンのメカニカル・トゥーカーを活用し、ランダムな作業者に原稿レビューの再執筆を依頼し、1タスクあたり0.12ドルの手数料を支払い。
• 再執筆されたレビューを収集し、人間による評価を通じて読みやすさと元の文章との意味的類似度を評価。
• 複数の中間言語経由でレビューを翻訳する機械翻訳ツールを用い、スタイル的乖離を増大させる。
• 原稿、再執筆版、翻訳版のレビューに対して、スタイリスティック分析（Writeprints特徴のサブセットを用いて）を再適用し、リンク可能性の低減を測定。
• クラウドソーシングと機械翻訳を組み合わせ、翻訳レビューの読みやすさを向上させつつ、リンク可能性を低く保つ。
• ブラウザープラグインの設計を通じて、クラウドソーシングプラットフォームへのタスク送信と匿名化済みレビューの取得を自動化する可能性を検討。

実験結果

リサーチクエスチョン

• RQ1 クラウドソーシングによる再執筆は、読みやすさを損なわせることなく、どの程度著者リンク可能性を低減できるか？
• RQ2 中間翻訳言語の数を増やすと、著者リンク可能性にどのような影響を与えるか？
• RQ3 機械翻訳されたレビューは、実用的な匿名化ツールとして十分に読みやすくなるか？
• RQ4 クラウドソーシングと機械翻訳の併用によるリンク可能性とレビュー品質への総合的影響は何か？
• RQ5 このような匿名化技術の実世界のレビュー投稿プラットフォームへの展開は、どの程度実現可能でスケーラブルか？

主な発見

• クラウドソーシングによる再執筆により、著者リンク可能性はほぼ無効化され、再執筆されたレビューではリンク可能性技術の正確度がわずか10％にまで低下した。
• 人間による評価により、再執筆されたレビューは元の文章と高い読みやすさと意味的類似度を維持していた。
• 多言語翻訳によりリンク可能性は顕著に低下し、中間言語の数を増やすほど、より高い隠蔽効果が得られた。
• 機械翻訳されたレビューはクラウドソーシングによる再執筆より読みにくかったが、クラウドソーシングと組み合わせることで読みやすさが向上した。
• クラウドソーシングのコストは低く（平均して1レビューあたり0.12ドル）、通常のレビュー監査の遅延を考慮すれば、許容可能な遅延であった。
• プラットフォームのポリシーと、大規模に元の内容と再執筆内容を関連付けることが不可能なことから、リクエスターや作業者に対するプライバシーリスクは最小限に抑えられた。