[논문 리뷰] Prediction with expert evaluators' advice

Alexey Chernov, Vladimir Vovk|ArXiv.org|2009. 02. 24.

Advanced Bandit Algorithms Research참고 문헌 9인용 수 6

한 줄 요약

이 논문은 각 전문가가 자신의 시간에 따라 변하는, 서로 다를 수 있는 손실 함수를 사용해 학습자를 평가하는 새로운 예측 프레임워크를 소개한다. 수동 예측 알고리즘은 모든 손실 함수가 적절하고 혼합 가능할 경우 표준 설정에서 Aggregating Algorithm과 동일한 최적 성능 보장을 달성하며, 정규화된 가중치와 선택적 가중치 업데이트를 사용하는 수정된 알고리즘을 통해 전문가(수면 중인 전문가)로의 확장을 수행한다.

ABSTRACT

We introduce a new protocol for prediction with expert advice in which each expert evaluates the learner's and his own performance using a loss function that may change over time and may be different from the loss functions used by the other experts. The learner's goal is to perform better or not much worse than each expert, as evaluated by that expert, for all experts simultaneously. If the loss functions used by the experts are all proper scoring rules and all mixable, we show that the defensive forecasting algorithm enjoys the same performance guarantee as that attainable by the Aggregating Algorithm in the standard setting and known to be optimal. This result is also applied to the case of "specialist" (or "sleeping") experts. In this case, the defensive forecasting algorithm reduces to a simple modification of the Aggregating Algorithm.

연구 동기 및 목표

• 모든 비교에 대해 동일한 고정된 손실 함수를 사용하는 표준 예측 프레임워크의 한계를 해결하기 위해.
• 각 전문가가 자신의 개인화된, 시간에 따라 변하는 손실 함수를 사용해 학습자를 평가할 수 있도록 하기 위해.
• 모든 손실 함수가 적절하고 혼합 가능할 경우, Aggregating Algorithm과 동일한 최적 성능 보장을 유지하기 위해.
• 모든 전문가가 매 단계에서 활성화되어 있지 않은 전문가(수면 중인 전문가)가 포함된 프레임워크로의 확장을 위해.
• 전문가 가용성에 적응하고 이론적 성능 경계를 유지하는 수정된 수동 예측 알고리즘을 제공하기 위해.

제안 방법

• 각 전문가가 자신의 손실 함수를 사용해 학습자의 성능을 평가하는 새로운 프rotocol를 도입하며, 이는 시간에 따라 변할 수 있고 전문가 간으로 다를 수 있음.
• 정규화된 가중치를 사용해 전문가 예측의 가중 조합에 기반해 예측을 선택하는 수동 예측 알고리즘을 적용.
• 혼합 가능성에서 유도된 손실의 지수에 대한 볼록성 조건을 만족시키기 위해, 치환 함수 Σ를 사용.
• 수면 중인 전문가의 경우, 학습자와 전문가의 손실 차이에 기반해 활성 전문가들에 대해서만 가중치를 업데이트.
• 각 단계에서 현재 활성 전문가들만을 사용해 가중치를 정규화하여 예측 규칙의 일관성을 유지.
• 혼합 가능성 매개수 η에 기반한 성능 보장을 사용하여, 학습자의 누적 손실이 각 전문가의 손실보다 1/η ln N 이내에 머무르도록 보장.

실험 결과

연구 질문

• RQ1 각 전문가가 자신의 고유하고 시간에 따라 변하는 손실 함수를 사용해 학습자를 평가할 때, 학습자가 각 전문가의 성능과 유사한 성능을 달성할 수 있는가?
• RQ2 손실 함수가 적절하고 혼합 가능하지만 전문가 간으로 반드시 동일하지 않은 경우, 수동 예측 알고리즘이 Aggregating Algorithm과 동일한 최적 성능 보장을 유지하는가?
• RQ3 수면 중인 전문가(각 시간 단계에서 일부 전문가만 활성화됨)를 다룰 수 있도록 프레임워크를 어떻게 수정할 수 있는가?
• RQ4 전문가의 비활성 상태가 존재하는 상황에서 이론적 성능 경계를 유지하기 위해 수동 예측 알고리즘에 어떤 수정이 필요한가?
• RQ5 손실 함수가 적절한 스코링 규칙이고 혼합 가능할 경우, 전문가 간으로 다를 수 있더라도 수동 예측 알고리즘의 성능 보장이 유지되는가?

주요 결과

• 수동 예측 알고리즘은 표준 설정에서 Aggregating Algorithm과 동일한 성능 보장을 달성하며, 모든 전문가 n과 모든 t에 대해 L_t ≤ L_t^n + (1/η) ln N 이 성립함을 보여줌.
• 이 보장은 전문가들이 사용하는 모든 손실 함수가 적절한 스코링 규칙이고 η-혼합 가능할 경우 유지되며, 새로운 프로토콜 하에서 최적 성능 보장을 보장함.
• 수면 중인 전문가의 경우, 수동 예측 알고리즘은 활성 전문가들에 대해서만 가중치를 업데이트하는 수정된 형태로 축소되며, 성능 경계를 유지함.
• 가중치 정규화식 u_t^n = w_t^n / sum_{n∈A_t} w_t^n 을 통해 시간 단계 간에 일관성 있는 예측 규칙을 유지함.
• 가중치 업데이트 규칙 w_t^n := w_{t-1}^n exp(η(λ(π_t, ω_t) - λ(γ_t^n, ω_t))) 는 학습자에 비해 성능이 좋은 전문가(상대적)는 가중치가 증가하고, 성능이 열 劣한 전문가는 가중치가 감소함.
• 기본 수동 예측 방법이 적용 가능한 한, 이 프레임워크는 이진 결과가 아닌 경우, 임의의 예측 공간, 가чёт한 많은 전문가로 일반화됨.