[論文レビュー] Consequential Ranking Algorithms and Long-term Welfare

Behzad Tabibian, Vicenç Gómez+3 more|arXiv (Cornell University)|May 13, 2019

Mobile Crowdsensing and Crowdsourcing参考文献 44被引用数 4

ひとこと要約

本稿では、マーカフ決定過程（MDP）を用いてユーザーの動的変化をモデル化することで、長期的福祉を最適化する結果的順序付けアルゴリズムを提案する。これにより、即時の利便性と誤情報や不穏な発言といった社会的コストの間で妥当なトレードオフを実現できる。本稿では勾配ベースの手法を導入し、有害コンテンツを最大30％削減しつつ、元の利便性への影響を最小限に抑えるパrameterized順序付けを学習可能であり、実際のRedditデータを用いた検証が行われた。

ABSTRACT

Ranking models are typically designed to provide rankings that optimize some measure of immediate utility to the users. As a result, they have been unable to anticipate an increasing number of undesirable long-term consequences of their proposed rankings, from fueling the spread of misinformation and increasing polarization to degrading social discourse. Can we design ranking models that understand the consequences of their proposed rankings and, more importantly, are able to avoid the undesirable ones? In this paper, we first introduce a joint representation of rankings and user dynamics using Markov decision processes. Then, we show that this representation greatly simplifies the construction of consequential ranking models that trade off the immediate utility and the long-term welfare. In particular, we can obtain optimal consequential rankings just by applying weighted sampling on the rankings provided by models that maximize measures of immediate utility. However, in practice, such a strategy may be inefficient and impractical, specially in high dimensional scenarios. To overcome this, we introduce an efficient gradient-based algorithm to learn parameterized consequential ranking models that effectively approximate optimal ones. We showcase our methodology using synthetic and real data gathered from Reddit and show that ranking models derived using our methodology provide ranks that may mitigate the spread of misinformation and improve the civility of online discussions.

研究の動機と目的

• 現在のモデルが予測できない、誤情報の拡散や極端化の増加といった、順序付けシステムの長期的社會的被害に対処すること。
• 提案順序付けの長期的影響を明示的に考慮する順序付けアルゴリズムを設計すること。
• 即時の利便性最適化モデルの忠実度と、礼儀正しさや情報品質といった長期的福祉指標の向上のバランスを取ること。
• 高次元設定におけるスケーラブルな展開を可能にする、効率的な勾配ベースの学習手法を開発すること。
• 実際のRedditデータを用いた実証的検証を通じて、順序付けの利便性を損なわせることなく誤情報と不穏な発言を低減できることを示すこと。

提案手法

• 順序付けとユーザーの動的変化を、マーカフ決定過程（MDP）を用いて同時にモデル化し、順序付けの系列と進化するアイテム特徴を表現する。
• ベルマンの最適性の原則を適用し、元の順序付けに対する重み付きサンプリングを用いて、最適な結果的順序付けの解析的解を導出する。
• 長期的福祉への影響を重み付けすることで、有害コンテンツを低減する順序付けを優先する指数的重み付けを採用する。
• 最適解を効率的に近似できる、パrameterized結果的順序付けモデル（例：Plackett-Luce）を学習する勾配ベースのアルゴリズムを開発する。
• 元の順序付けモデルへの忠実度（KLダイバージェンスを用いて測定）と長期的福祉（例：不穏な発言スコアや誤情報スコア）のトレードオフを取る損失関数を採用する。
• コメントの系列バッチを用いて、実際のRedditデータ上でモデルを学習し、時系列的特徴（初コメントまでの時間）、不穏さスコア、信頼性の欠如スコアを含む特徴を用いる。

実験結果

リサーチクエスチョン

• RQ1 誤情報や不穏な発言といった長期的社會的被害を予測・緩和できる順序付けモデルを設計できるか？
• RQ2 順序付けシステムにおいて、即時の利便性と長期的福祉のトレードオフを形式的にモデル化・最適化できるか？
• RQ3 結果的順序付けモデルは、実世界のオンラインディスカッションの質とコンテンツの整合性にどのような影響を与えるか？
• RQ4 高次元設定において、最適な結果的順序付けをどの程度効率的に近似できるか？
• RQ5 パrameterized順序付けモデルは、元の順序付けシステムからの利便性を保ちながら、有害コンテンツをどの程度低減できるか？

主な発見

• 結果的順序付けモデルは、Redditデータ上での測定において、上位順位のコメントの不穏さを最大30％まで低減したが、即時の利便性への損失は最小限であった。
• 同様に、上位表示における誤情報も最大30％低減されたが、元の逆時系列順序付けからの著しい逸脱は認められなかった。
• 勾配ベースの学習アルゴリズムは、最適な結果的順序付けを効果的に近似でき、高次元設定における実用的展開を可能にした。
• 重み付きサンプリングによる解析的解はベンチマークとして妥当であることが検証され、長期的福祉に基づく再重み付けにより、元のモデルから最適順序付けを導出可能であることが示された。
• KLダイバージェンスで測定した元の順序付けへの忠実度は高いままに保ちつつ、長期的福祉指標が著しく改善された。
• 複数のテスト投稿において一貫した結果が得られ、95％信頼区間により性能の堅牢性が確認された。