[논문 리뷰] Balancing Suspense and Surprise: Timely Decision Making with Endogenous Information Acquisition

Ahmed M. Alaa, Mihaela van der Schaar|arXiv (Cornell University)|2016. 10. 24.

Auction Theory and Applications인용 수 6

한 줄 요약

이 논문은 시간 압박 속에서 내생적 정보 획득을 수반하는 시기적 의사결정을 위한 베이지안 모델을 개발한다. 의사결정자는 불안전한 사건 발생을 예측하기 위해 확률적 시간열에서 샘플을 채취한다. 최적 정책은 놀라움(정보 수확량)과 긴장감(생존 위험)을 균형 잡는 '만남 구조(rendezvous structure)'를 보이며, 정지 및 계속 행동 영역은 신뢰도와 맥락(현재 시간열 실현값)에 모두 의존한다.

ABSTRACT

We develop a Bayesian model for decision-making under time pressure with endogenous information acquisition. In our model, the decision maker decides when to observe (costly) information by sampling an underlying continuous-time stochastic process (time series) that conveys information about the potential occurrence or non-occurrence of an adverse event which will terminate the decision-making process. In her attempt to predict the occurrence of the adverse event, the decision-maker follows a policy that determines when to acquire information from the time series (continuation), and when to stop acquiring information and make a final prediction (stopping). We show that the optimal policy has a rendezvous structure, i.e. a structure in which whenever a new information sample is gathered from the time series, the optimal "date" for acquiring the next sample becomes computable. The optimal interval between two information samples balances a trade-off between the decision maker's surprise, i.e. the drift in her posterior belief after observing new information, and suspense, i.e. the probability that the adverse event occurs in the time interval between two information samples. Moreover, we characterize the continuation and stopping regions in the decision-maker's state-space, and show that they depend not only on the decision-maker's beliefs, but also on the context, i.e. the current realization of the time series.

연구 동기 및 목표

• 불안전한 사건이 발생하기 전에 이를 예측해야 하는 시간 압박 속에서의 의사결정을 모델링하기 위해.
• 의사결정자가 비용이 드는 시간열에서 정보를 언제 샘플링할지를 스스로 결정하는 내생적 정보 획득을 통합하기 위해.
• 정보 수확량(놀라움)과 사건 발생 위험(긴장감) 간의 트레이드오프를 균형 잡는 최적 정책을 규명하기 위해.
• 최적 정지 및 계속 행동이 사후 신뢰도 외에도 현재 맥락(시간열 실현값)에 의존한다는 것을 보여주기 위해.

제안 방법

• 불안전한 사건 발생 시간(스토캐스틱 딜레인)으로 인해 프로세스가 종료되는 순차적 베이지안 추론 문제로 의사결정 문제를 수식화한다.
• 의사결정자의 신뢰도 과정을 시간이 지남에 따라 하향 추세를 보이는 수퍼마팅글레로 모델링한다. 이는 생존 증거에 기인한다.
• 관측 이후 각각의 관측 후 다음 샘플링 시간을 계산할 수 있는 '만남 구조'를 가진 최적 정책을 유도한다.
• 놀라움과 긴장감의 트레이드오프를 도입한다: 정책은 정보 수확량(정보 수확량의 꼬리 분포를 통한)과 생존 확률(생존 함수를 통한)의 조합을 최적화한다.
• 관측 비용($C_o$), 잘못된 예측 비용($C_1$), 종료 위험 비용($C_r$)을 사용하여 목적 함수를 정의한다.
• 신뢰도와 현재 시간열 실현값($\bar{X}(P^\pi_t)$)에 따라 상태 공간 내 계속 행동 영역과 정지 영역을 특성화하여 맥락 의존성을 보여준다.

실험 결과

연구 질문

• RQ1 불안전한 사건에 의해 의사결정 과정이 종료되는 상황에서, 의사결정자는 정보 샘플링을 어떻게 최적화할 수 있는가?
• RQ2 시간 압박 속에서 내생적 정보 획득에 대한 최적 정책의 구조는 어떠한가?
• RQ3 놀라움(정보 수확량)과 긴장감(사건 발생 위험)은 최적 샘플링 간격을 결정하는 데 어떻게 상호 보완되는가?
• RQ4 계속 행동 및 정지 결정이 사후 신뢰도 외에도 현재 맥락(즉, 시간열 실현값)에 얼마나 의존하는가?
• RQ5 최적 정책이 각 관측 이후 다음 샘플링 시간을 계산할 수 있는 '만남 정책'으로 특성화될 수 있는가?

주요 결과

• 최적 정책은 '만남 구조'를 가지며, 이는 각 관측 이후 다음 정보 샘플의 최적 시간이 즉시 계산 가능하다는 것을 의미한다.
• 최적의 샘플 간격은 놀라움(정보 수확량)과 긴장감(간격 동안 사건 발생 확률)을 균형 잡는다. 이 트레이드오프는 생존 함수와 정보 수확량 분포에 의해 기록된다.
• 상태 공간 내 계속 행동 및 정지 영역은 사후 신뢰도와 현재 시간열 실현값에 모두 의존하며, 맥락 의존성을 보여준다.
• 정책이 정지를 결정할 경우, 잘못된 예측 비용을 반영한 임계값 신뢰도 $\frac{C_1}{C_o + C_1}$ 기반으로 예측을 내보낸다.
• 예시에서 예상 정보 수확량은 $\delta = 42$에서 최대가 되지만, 합리적인 생존 확률을 유지하기 위해 최적의 만남 시간은 더 이르게(예: $\delta^* < 42$) 설정될 수 있다.
• 최적의 만남 시간에서의 생존 확률은 $C_r$에 의해 제약을 받으며, 정책은 이 위험과 정보의 가치를 균형 잡는다. 이는 $S_t(\Delta t)$와 $I_t(\delta)$의 비용 가중 최적화를 통해 반영된다.