[論文レビュー] The Best Answers? Think Twice: Online Detection of Commercial Campaigns in the CQA Forums

Cheng Chen, Kui Wu+2 more|arXiv (Cornell University)|Aug 7, 2012

Expert finding and Q&A systems参考文献 13被引用数 7

ひとこと要約

本稿では、回答コンテンツの意味的分析とユーザーレピュテーション追跡、およびライティングテンプレート検出を組み合わせることで、コミュニティ質問・回答（CQA）フォーラムにおける商業キャンペーンを適応的でリアルタイムに検出するシステムを提案する。この手法は、新しい証拠を動的に統合することで非適応的モデルを上回り、支払い済みの投稿者が高品質な回答を模倣して製品を間接的に宣伝するのを高精度かつ高再現率で検出する。

ABSTRACT

In an emerging trend, more and more Internet users search for information from Community Question and Answer (CQA) websites, as interactive communication in such websites provides users with a rare feeling of trust. More often than not, end users look for instant help when they browse the CQA websites for the best answers. Hence, it is imperative that they should be warned of any potential commercial campaigns hidden behind the answers. However, existing research focuses more on the quality of answers and does not meet the above need. In this paper, we develop a system that automatically analyzes the hidden patterns of commercial spam and raises alarms instantaneously to end users whenever a potential commercial campaign is detected. Our detection method integrates semantic analysis and posters' track records and utilizes the special features of CQA websites largely different from those in other types of forums such as microblogs or news reports. Our system is adaptive and accommodates new evidence uncovered by the detection algorithms over time. Validated with real-world trace data from a popular Chinese CQA website over a period of three months, our system shows great potential towards adaptive online detection of CQA spams.

研究の動機と目的

• CQAフォーラムにおける隠れた商業キャンペーンの増加という問題に対処し、支払い済みの投稿者が製品を宣伝するために見かけ上役立つ回答を生成する問題を解決すること。
• テキスト類似度に依存する従来の手法では、高品質な回答を装ったスポンサー広告コンテンツを検出できないという限界を克服すること。
• 潜在的な商業キャンペーンが検出された際に、エンドユーザーにリアルタイムでアラートを発するオンラインで適応可能な検出システムを構築すること。
• CQAフォーラムにおける支払い済み投稿者の行動パターンが、マイクロブログやニュースサイトとは異なる特徴を持つことを見出し、より正確な検出を可能にすること。
• 意味的分析、ライティングテンプレート、ユーザーレピュテーション履歴を統合した包括的な信頼性スコアリングモデルを構築し、最高の答えを特定すること。

提案手法

• 本システムは、表面的なテキスト類似度を越えて、回答内に隠れたプロモーションコンテンツを検出する意味的分析を用いる。
• 投稿の整合性やアップバッジ／ダウングレードの履歴を含む、ユーザーレピュテーション履歴と行動パターンを統合する。
• スパム広告でよく使われる繰り返しの表現パターン（ライティングテンプレート）を抽出し、識別的特徴として利用する。
• 機械学習分類器が、意味的特徴、テキスト特徴、ユーザーベース行動特徴の組み合わせに基づいて回答に信頼性スコアを割り当てる。
• モデルは適応的であり、時間の経過とともに検出結果から新たな証拠を更新・統合でき、長期的な精度向上が可能である。
• システムはリアルタイムに動作し、回答が投稿された瞬間に分析を行い、キャンペーンの兆候がしきい値を超えた場合にアラートを発する。

実験結果

リサーチクエスチョン

• RQ1 製品を間接的に宣伝するが、見かけ上役立つ回答として作成されたCQAフォーラムにおける商業キャンペーンを、どのように検出できるか？
• RQ2 CQA環境において、支払い済み投稿者と真の貢献者を区別する行動的・言語的特徴は何か？
• RQ3 なぜ従来のテキスト類似度ベースの手法ではこのような商業スパムを検出できないのか？また、検出を改善する代替的特徴は何か？
• RQ4 新しいデータから学習できる適応的でオンラインの検出システムは、時間の経過とともに高い正確性と再現率を維持できるか？
• RQ5 ライティングテンプレートやユーザーレピュテーション履歴といった特徴は、一貫した商業キャンペーンの特定にどのように寄与するか？

主な発見

• 提案された適応的検出システムは、固定型の非適応的モデルに比べて誤検出（偽陰性）を顕著に低減しており、高精度である一方で再現率が低いという固定モデルの欠陥を是正する。
• 意味的分析とユーザーレピュテーション、ライティングテンプレート検出を統合することで、テキスト類似度に依存する単一のアプローチよりもより強固な分類器が得られる。
• 本システムは、製品プロモーションが繊細に埋め込まれた長文かつ関連性の高い回答を正しく検出できており、従来の手法では高品質と誤分類されるのを防げる。
• 中国のCQAプラットフォームで3か月にわたり実世界での評価を実施した結果、一貫した商業キャンペーンの検出効果が確認された。
• モデルの適応的性質により、新たな検出証拠を継続的に統合することで、静的学習データの限界を補い、時間の経過とともに精度が向上する。
• 性能指標の分析から、固定モデルは高精度であるが、再現率が低いため、キャンペーンコンテンツを多く見逃すバイアスが強く、このバイアスは適応的モデルによって是正される。