[논문 리뷰] Combining Information from Multiple Forecasters: Inefficiency of Central Tendency

Ville Satopää|arXiv (Cornell University)|2017. 06. 19.

Forecasting Techniques and Applications참고 문헌 34인용 수 6

한 줄 요약

이 논문은 독립적이고 잘 校정된 예측자가 서로 다른 정보를 사용할 때, 중심경향 기반 집계기법(예: 산술 평균, 중앙값, 잘라낸 평균 등)이 본질적으로 비효율적임을 보여준다. 핵심 결과는 이러한 집계기법이 가용 정보를 완전히 활용하지 못해, 조건이 온화할지라도 체계적으로 최적의 공통 예측을 도출하지 못한다는 것이다.

ABSTRACT

Even though the forecasting literature agrees that aggregating multiple predictions of some future outcome typically outperforms the individual predictions, there is no general consensus about the right way to do this. Most common aggregators are means, defined loosely as aggregators that always remain between the smallest and largest predictions. Examples include the arithmetic mean, trimmed means, median, mid-range, and many other measures of central tendency. If the forecasters use different information, the aggregator ideally combines their information into a consensus without losing or distorting any of it. An aggregator that achieves this is considered efficient. Unfortunately, our results show that if the forecasters use their information accurately, an aggregator that always remains strictly between the smallest and largest predictions is never efficient in practice. A similar result holds even if the ideal predictions are distorted with random error that is centered at zero. If these noisy predictions are aggregated with a similar notion of centrality, then, under some mild conditions, the aggregator is asymptotically inefficient.

연구 동기 및 목표

• 중앙경향 기반(예: 평균, 중앙값 등)의 일반적인 집계 방법이 독립적 예측자로부터의 예측을 조합할 때 효율적인가를 조사하는 것.
• 효율성을 정의하고 형식화하는 것 — 집계기법이 예측자들이 제공하는 모든 정보를 왜곡 없이 손실 없이 활용할 수 있는 능력.
• 예측자가 서로 다른 정보를 사용할 경우, 최소 예측값과 최대 예측값 사이에 엄격히 놓이는 모든 집계기법이 점점 더 비효율적임을 보여주는 것.
• 영 평균의 랜덤 오차가 존재하더라도, 온화한 정규성 조건 하에서 중심경향 집계기법이 여전히 점점 더 비효율적임을 보여주는 것.
• 집계기법이 효율적일 수 있는 이론적 조건을 제시하고, 중심경향 방법이 이러한 조건을 충족하지 못함을 증명하는 것.

제안 방법

• 논문은 항상 가장 작은 개별 예측값과 가장 큰 개별 예측값 사이에 결과를 생성하는 집계기법을 평균으로 정의한다. 이에는 산술 평균, 중앙값, 중간 범위, 잘라낸 평균 등이 포함된다.
• 예측자들의 정보 집합과 그들의 합리적이고 校정된 예측을 모델링하기 위해 확률 공간과 조건부 기대값을 사용하는 형식적 프레임워크를 도입한다.
• 효율성을 집계기법이 예측에서 제공하는 모든 정보를 손실 없이 왜곡 없이 활용할 수 있는 성질로 정의하며, 이를 전체 정보 예측과 일치하는 확률 공간이 존재한다는 것으로 수식화한다.
• 핵심 기술 도구는 샘플 공간 내에서 상호 배타적인 원자 사건 집합을 구성하여, 집계기법이 엄격한 평균일 경우 어떤 원자 집합에서의 예측자 간의 불일치가 모순을 초래함을 보이는 것이다.
• 반증을 통해 집계기법이 효율적이라고 가정하고, 그로 인해 파artition의 어떤 원자에서의 불일치가 정보 활용 측면에서 모순을 일으킴을 보여주는 증명을 한다.
• 독립적, 동일분포의 특성 오차가 존재하는 가정 하에 점근적 효율성을 분석하며, 한계 분석을 통해 공통 예측이 개별 예측의 범위 내에서 엄격히 유지됨을 보여, 전체 정보를 반영하지 못함을 밝힌다.

실험 결과

연구 질문

• RQ1 예측자가 서로 다른 정보를 사용할 때, 중심경향 기반 집계기법이 예측을 조합하는 데 있어 효율적인가에 대한 조건은 무엇인가?
• RQ2 항상 최소 예측값과 최대 예측값 사이에 결과를 생성하는 집계기법이, 잘 校정된 예측자와 별개의 정보를 사용할 경우 효율적일 수 있는가?
• RQ3 예측의 영 평균 랜덤 오차가 존재하더라도 중심경향 집계기법의 비효율성은 얼마나 견고한가?
• RQ4 여러 예측자로부터의 모든 정보를 활용하는 데 있어 집계기법이 효율적이라고 간주할 수 있는 형식적 수학적 조건은 무엇인가?
• RQ5 예측이 독립적, 동일분포 노이즈에 영향을 받을 경우, 중심경향 집계기법의 비효율성은 점점 더 유지되는가?

주요 결과

• 항상 가장 작은 예측값과 가장 큰 예측값 사이에 결과를 생성하는 엄격한 평균 집계기법은, 예측자가 서로 다른 정보를 사용할 경우 비효율적이다. 예측자가 완벽하게 校정되어 있더라도 마찬가지다.
• 비효율성은 독립적이고 중복되지 않는 정보의 조합된 강도를 반영하지 못하기 때문에 발생하며, 이는 전체 정보 예측보다 정보량이 적은 공통 예측을 초래한다.
• 영 평균의 i.i.d. 오차가 존재하더라도, 온화한 정규성 조건 하에서 중심경향 집계기법은 여전히 점점 더 비효율적이다. 공통 예측이 개별 예측의 범위 내에서 엄격히 유지되기 때문이다.
• 논문은 평균 집계기법이 비효율적임을 증명하며, 샘플 공간 내에서 예측자들이 불일치하는 원자 사건이 하나 이상 존재할 경우에만 성립한다. 이는 전체 정보 활용 요구 조건과 모순된다.
• 결과는 연속형 및 이진형 결과 모두에 적용되며, 산술 평균, 중앙값, 중간 범위, 잘라낸 평균을 포함한 모든 표준 평균에 대해 적용된다.
• 이론적 프레임워크는 효율성이 가능하려면 집계기법이 최대 예측값을 초월하거나 최소 예측값 이하로 떨어질 수 있어야 한다는 것을 보여주며, 이는 평균의 정의와 모순된다.