[論文レビュー] A Consensual Linear Opinion Pool

Arthur Carvalho, Kate Larson|arXiv (Cornell University)|Apr 24, 2012

Opinion Dynamics and Social Influence参考文献 19被引用数 7

ひとこと要約

本稿では、反復的コンセンサスを通じて専門家の意見を統合する、共感的線形意見プールを提案する。各専門家は、自身の意見と他の専門家の意見との距離に反比例する重みで、仲間の意見を更新する。この手法は共有の意見に収束し、実世界の予測において従来の平均化法や距離に基づく手法を上回り、69.29%の正確性と最小の平均絶対誤差（0.4115）を達成する。

ABSTRACT

An important question when eliciting opinions from experts is how to aggregate the reported opinions. In this paper, we propose a pooling method to aggregate expert opinions. Intuitively, it works as if the experts were continuously updating their opinions in order to accommodate the expertise of others. Each updated opinion takes the form of a linear opinion pool, where the weight that an expert assigns to a peer's opinion is inversely related to the distance between their opinions. In other words, experts are assumed to prefer opinions that are close to their own opinions. We prove that such an updating process leads to consensus, extit{i.e.}, the experts all converge towards the same opinion. Further, we show that if rational experts are rewarded using the quadratic scoring rule, then the assumption that they prefer opinions that are close to their own opinions follows naturally. We empirically demonstrate the efficacy of the proposed method using real-world data.

研究の動機と目的

• 歴史的データが存在しない状況において、専門家の意見が食い違う場合にそれらを統合する課題に対処すること。
• 外部の性能指標や真の結果を必要とせず、自然にコンセンサスに至る手法を開発すること。
• 専門家が互いに近い意見に近づくように反復的に意見を調整する、収束を保証するプーリング機構を形式化すること。
• 意見の近接性への好みという仮定が、2次スコアリングルール下での合理的行動から自然に導かれるという関係を確立すること。
• 実世界のスポーツ予測データを用いて、標準的な統合手法と比較して本手法の実証的妥当性を検証すること。

提案手法

• 専門家は反復的に、自身の意見と他の専門家の意見との距離に反比例する重みを用いた線形意見プールとして意見を更新する。
• 距離は、確率質量関数間のカルバック・ライバラー情報量で測定される。
• このプロセスは、コンセンサス意見に収束する連続時間動的システムとしてモデル化される。
• 重みは動的に調整され、意見が類似した専門家同士が互いに強く影響し合うようにされる。
• 専門家は自身の意見に近い意見を好むという仮定が、合理的な専門家にとっての2次スコアリングルールのもとで正当化される。
• 最終的な集約意見は、静的平均ではなく、システムのコンセンサス状態から導かれる。

実験結果

リサーチクエスチョン

• RQ1 意見の類似性に基づいて重みを付ける動的意見プーリング機構は、専門家間でコンセンサスに至るか？
• RQ2 専門家が自身の意見に近い意見を好むという仮定は、適切なスコアリングルール下での合理的行動から自然に導かれるか？
• RQ3 提案手法は、従来の線形プール法や距離に基づく手法と比較して、予測の正確性において優れているか？
• RQ4 極端な意見の影響は、異なる統合手法にどのように現れるか？提案手法はその影響をどのように軽減するか？
• RQ5 提案手法は、実世界の予測タスクにおいて、ベースライン手法よりも統計的に優れているか？

主な発見

• 共感的線形意見プールは、反復的更新を通じて単一の共有意見に収束し、コンセンサスが達成されることを証明した。
• 本手法は、NFLの試合結果予測において全体で69.29%の正確性を達成し、平均法（67.42%）とBMS法（68.54%）を上回った。
• 共感的手法は平均絶対誤差が0.4115と最低水準であり、平均法（0.4176）とBMS法（0.4295）を顕著に下回った。
• 左片側ウィルコクソン符号順位検定を用いた統計的分析では、p値が10^-4未満であり、結果が極めて統計的に有意であることが確認された。
• 極端な意見の影響が小さい。専門家は自身の意見から遠い意見に対して低い重みを割り当てることで、歪みを低減する。
• 類似した意見への好みは、2次スコアリングルールに基づく理論的根拠を持つ。合理的な専門家は自然に自身の意見に近い意見を好む。