[論文レビュー] Combining Information from Multiple Forecasters: Inefficiency of Central Tendency

Ville Satopää|arXiv (Cornell University)|Jun 19, 2017

Forecasting Techniques and Applications参考文献 34被引用数 6

ひとこと要約

この論文は、独立した、良好にキャリブレーションされた予測者が異なる情報を用いて予測を行う場合、中央値に基づく集約手法（算術平均、中央値、トリムム平均など）が本質的に非効率であることを示している。主な結果は、このような集約手法がすべての利用可能な情報を完全に活用できず、すなわち、きわめて緩い正則性条件のもとでも、一貫して最適でないコンSENSUS予測を生じさせることを示している。

ABSTRACT

Even though the forecasting literature agrees that aggregating multiple predictions of some future outcome typically outperforms the individual predictions, there is no general consensus about the right way to do this. Most common aggregators are means, defined loosely as aggregators that always remain between the smallest and largest predictions. Examples include the arithmetic mean, trimmed means, median, mid-range, and many other measures of central tendency. If the forecasters use different information, the aggregator ideally combines their information into a consensus without losing or distorting any of it. An aggregator that achieves this is considered efficient. Unfortunately, our results show that if the forecasters use their information accurately, an aggregator that always remains strictly between the smallest and largest predictions is never efficient in practice. A similar result holds even if the ideal predictions are distorted with random error that is centered at zero. If these noisy predictions are aggregated with a similar notion of centrality, then, under some mild conditions, the aggregator is asymptotically inefficient.

研究の動機と目的

• 中央値に基づく一般的な集約手法（例：平均、中央値）が、独立した予測者からの予測を組み合わせる際に効率的かどうかを調査すること。
• 効率性を、予測者が提供するすべての情報を歪めず損失なく活用できる能力として定義・形式化すること。
• 予測者が異なる情報を用いる場合、最小予測値と最大予測値の間で厳密に有界された任意の集約手法が、漸近的に非効率であることを示すこと。
• ゼロ平均のランダム誤差が存在する場合でも、きわめて緩い正則性条件のもとで、中央値に基づく集約手法が漸近的に非効率のまま残ることを示すこと。
• 集約手法が効率的と見なされるための理論的条件を提示し、中央値に基づく手法がこれらの条件を満たさないことを証明すること。

提案手法

• 論文は、常に最小予測値と最大予測値の間の結果を生成する集約手法（算術平均、中央値、中央範囲、トリムム平均など）を、平均と定義する。
• 予測者の情報集合とその合理的かつキャリブレーション済みの予測をモデル化するために、確率空間と条件付き期待値の形式的枠組みを導入する。
• 効率性を、集約手法が予測に含まれるすべての情報を損失なく歪めずに活用できる性質として定義し、全情報予測と一致する確率空間の存在によって形式化する。
• 鍵となる技術的道具は、標本空間における原子的イベントの互いに素な集合の構築であり、これにより、任意のこのような集合で予測者が意見を異にしている場合、集約手法が厳密な平均であると矛盾が生じることを示す。
• 証明は背理法を用い、集約手法が効率的であると仮定し、その分割における任意の原子的イベントで予測者が意見を異にしている場合、情報の活用に一貫性が失われるという矛盾を示す。
• 予測の独立同一分布（i.i.d.）固有誤差を仮定し、漸近的効率性を分析する。限界的議論により、コンセンサスが個々の予測の範囲内に常に厳密に留まることが示され、したがって全情報が反映されないことが明らかになる。

実験結果

リサーチクエスチョン

• RQ1 独立した予測者で、異なる情報を用いる場合、平均に基づく集約手法が予測を組み合わせる際にどの条件下で効率的となるか？
• RQ2 常に最小予測値と最大予測値の間の結果を生成する集約手法が、良好にキャリブレーションされ、異なる情報を用いる予測者に対して効率的である可能性はあるか？
• RQ3 予測のゼロ平均i.i.d.誤差が存在する場合でも、中央値に基づく集約手法の非効率性は頑健か？
• RQ4 複数の予測者から得られるすべての情報を使用するという点で、集約手法が効率的と見なされるための形式的数学的条件は何か？
• RQ5 予測が独立同一分布のノイズを受ける場合、中央値に基づく集約手法の非効率性は漸近的にも持続するか？

主な発見

• 最小予測値と最大予測値の間で厳密に有界される任意の集約手法（すなわち、厳密な平均）は、予測者が異なる情報を用いる場合、非効率である。これは、予測者が完全にキャリブレーション済みであっても同様である。
• 非効率性の原因は、独立的かつ非冗長な情報の組み合わせの強みを反映していないことに起因する。その結果、全情報予測よりも情報量が少ないコンセンサス予測が生じる。
• ゼロ平均i.i.d.誤差が存在する場合でも、きわめて緩い正則性条件のもとで、中央値に基づく集約手法は漸近的に非効率のまま残る。これは、コンセンサスが個々の予測の範囲内に常に厳密に留まるためである。
• 論文は、平均集約手法が非効率であるための必要十分条件を証明している。それは、標本空間に少なくとも一つの原子的イベントで予測者が意見を異にしている場合に、情報の完全活用の要件と矛盾することである。
• この結果は連続的および二値の結果の両方に対して成り立ち、算術平均、中央値、中央範囲、トリムム平均を含むすべての標準的な平均に適用可能である。
• 理論的枠組みにより、効率性は、集約手法が最大予測値を超えるか最小予測値を下回る能力がある場合にのみ可能であることが示され、これは平均の定義に反する。