[論文レビュー] Rating through Voting: An Iterative Method for Robust Rating

Mohammad Allahbakhsh, Aleksandar Ignjatović|arXiv (Cornell University)|Nov 2, 2012

Internet Traffic Analysis and Secure E-voting参考文献 36被引用数 24

ひとこと要約

本稿では、信頼性評価とレーティング集約を分離することで、共謀、バイアス、ランダムレーティングに対して頑健な、新しい反復投票ベースのレーティングシステムを提案する。レーティングを離散的レベルにおける投票としてモデル化し、意見の一致に基づいて反復的にレーティングの信頼性を精錬することで、固定点に収束し、IMDbと高い一致を示す一方でRotten Tomatoesよりも批判的である。これは大規模システムにおける信頼性の優位性を示している。

ABSTRACT

In this paper we introduce an iterative voting algorithm and then use it to obtain a rating method which is very robust against collusion attacks as well as random and biased raters. Unlike the previous iterative methods, our method is not based on comparing submitted evaluations to an approximation of the final rating scores, and it entirely decouples credibility assessment of the cast evaluations from the ranking itself. The convergence of our algorithm relies on the existence of a fixed point of a continuous mapping which is also a stationary point of a constrained optimization objective. We have implemented and tested our rating method using both simulated data as well as real world data. In particular, we have applied our method to movie evaluations obtained from MovieLens and compared our results with IMDb and Rotten Tomatoes movie rating sites. Not only are the ratings provided by our system very close to IMDb rating scores, but when we differ from the IMDb ratings, the direction of such differences is essentially always towards the ratings provided by the critics in Rotten Tomatoes. Our tests demonstrate high efficiency of our method, especially for very large online rating systems, for which trust management is both of the highest importance and one of the most challenging problems.

研究の動機と目的

• 大規模オンラインレーティングシステムにおける信頼管理という重要な課題、特に共謀とバイアスの影響を受けるレーティングの問題に対処すること。
• クラスタリングや局所的指標、最終スコアの近似に依存せずに、操作に対して頑健なレーティング手法を開発すること。
• レーティングの信頼性評価を実際のレーティング計算から分離することで、柔軟かつ原理的かつ整合性のあるレーティング集約を可能にすること。
• 固定点理論と制約付き最適化に基づく、理論的に収束が保証されたアルゴリズムを提供することにより、安定性と信頼性を確保すること。

提案手法

• 本手法は、製品レーティングを選挙としてモデル化し、ユーザーが離散的レーティングレベル（例：1〜10）に投票するものとみなす。各レベルを潜在的な合意形成の選択肢とみなす。
• 意見の一致に基づいて、各レーティングレベルの信頼性を反復的に計算する。連続写像を用いることで、固定点への収束を保証する。
• レーティング者の信頼性は、彼らの投票が最も信頼性の高いレーティングレベルとどれほど一致するかに基づき算出される。順位順序や平均化は使用しない。
• レーティングレベルの信頼性スコアを正規化することで、レーティング者の信頼性ではなく、より明確で安定した収束証明を可能にする。
• 各レーティングレベルを選んだ「信頼できる」投票者の割合に基づく信頼度更新ルールを採用し、分母の爆発による不安定性を回避する。
• 最終的なレーティングは、レーティングレベルの信頼性スコアを重みとして使用する重み付き平均として独立に計算され、統計的特徴選択の柔軟性を提供する。

実験結果

リサーチクエスチョン

• RQ1 クラスタリングや行動ヒューリスティクスに依存せずに、共謀攻撃に対して頑健なレーティングシステムを設計できるか？
• RQ2 最終スコアとは独立してレーティング者の信頼性を評価することで、システムの安定性と信頼性を向上させられるか？
• RQ3 最終スコアの近似を避ける反復的レーティングシステムにおいて、収束に関する数学的保証をどのように得られるか？
• RQ4 順序の仮定なしに、意見の一致だけでも信頼性が高く、頑健なレーティング結果を生み出せるか？
• RQ5 IMDb や Rotten Tomatoes といった実世界のベンチマークと比較して、本手法は正確性や専門家評価との整合性において優れているか？

主な発見

• 提案手法は、連続写像の固定点として収束し、制約付き最適化目的関数の停留点としても解釈可能であり、理論的安定性が保証される。
• MovieLensデータを用いた実験では、システムのレーティングがIMDbのものと極めて近かった。これはコミュニティの合意と強い一致を示している。
• IMDbから逸脱した場合でも、その逸脱の方向は常にRotten Tomatoesの批評家スコアと一致し、専門的判断をより正確に反映している可能性を示唆している。
• 高い効率性とスケーラビリティを示し、信頼管理が重要かつ困難な非常に大規模なオンラインレーティングシステムに適している。
• 従来の手法とは異なり、平均化やクラスタリング、最終スコアの近似を回避することで、データの平滑化や操作に対する感受性が低減される。
• 信頼性評価とレーティング集約を分離することで、より柔軟で頑健な結果計算が可能となり、既存の反復モデルを上回る性能を発揮する。