[논문 리뷰] Decision Theory with Resource-Bounded Agents

Joseph Y. Halpern, Rafael Pass외 1명|arXiv (Cornell University)|2013. 08. 17.

Game Theory and Applications참고 문헌 20인용 수 4

한 줄 요약

이 논문은 의사결정 이론에서 자원 제약이 있는 에이전트를 모델링하기 위한 두 가지 프레임워크를 제안한다: 하나는 튜링 기계를 통해 계산 복잡도에 비용을 부과하는 방식이며, 다른 하나는 상태 수가 제한된 유한 오토마타로 에이전트를 모델링하는 방식이다. 이 두 접근 방식이 모두 자원 제약 하에서 최적의 행동으로 간주될 수 있는 잘 알려진 인지 편향—예를 들어 첫인상 중요성 효과와 신념 극단화—를 설명할 수 있음을 보여주며, 상태 수가 증가함에 따라 오토마타 기반 전략이 최적 성능에 가까워진다.

ABSTRACT

There have been two major lines of research aimed at capturing resource-bounded players in game theory. The first, initiated by Rubinstein, charges an agent for doing costly computation; the second, initiated by Neyman, does not charge for computation, but limits the computation that agents can do, typically by modeling agents as finite automata. We review recent work on applying both approaches in the context of decision theory. For the first approach, we take the objects of choice in a decision problem to be Turing machines, and charge players for the ``complexity'' of the Turing machine chosen (e.g., its running time). This approach can be used to explain well-known phenomena like first-impression-matters biases (i.e., people tend to put more weight on evidence they hear early on) and belief polarization (two people with different prior beliefs, hearing the same evidence, can end up with diametrically opposed conclusions) as the outcomes of quite rational decisions. For the second approach, we model people as finite automata, and provide a simple algorithm that, on a problem that captures a number of settings of interest, provably performs optimally as the number of states in the automaton increases.

연구 동기 및 목표

• 고전적 의사결정 이론에서의 완벽한 합리성 가정을 도전하면서 계산 자원이 제한된 의사결정 에이전트를 모델링하는 것.
• 첫인상 중요성과 신념 극단화와 같은 체계적인 인간 행동 편향을 자원 제약 하에서의 합리적 반응으로 설명하는 것.
• 자원 제약이 증가함에 따라 최적 성능에 가까워지는 단순하고 구현 가능한 자원 제약 에이전트 전략을 개발하는 것.
• 튜링 기계에 대한 복잡도 기반 비용 모델과 유한 오토마타 모델에 대한 두 가지 다른 접근 방식을 비교하는 것.
• 유한 오토마타 전략이 동적이고 불확실한 환경에서 효과적인 데 대한 이론적 및 실험적 근거를 제공하는 것.

제안 방법

• 에이전트를 선택된 튜링 기계로 모델링하며, 이로 인한 유용성은 수익과 계산 복잡도(예: 실행 시간, 상태 수)에 모두 의존한다.
• 선택된 알고리즘의 복잡도에 비용을 청구하는 비용 모델을 도입하여 수익과 계산 간의 합리적 트레이드오프를 가능하게 한다.
• 고정된 상태 수를 가진 유한 오토마타로 에이전트를 모델링하며, 전이 행동은 도착하는 신호와 내부 상태에 따라 결정된다.
• 상태 수 N, 신호 확률, 양성/음성 신호에 대한 임계값을 매개변수로 포함하는 오토마타 가족 A[N, p_exp, Pos, Neg, r_u, r_d]를 제안한다.
• 자연의 상태가 확률적으로 변화하는 동적 의사결정 문제를 사용하며, 에이전트는 시간에 따라 노이즈 있는 신호에 기반해 결정을 내려야 한다.
• N이 증가함에 따라 오토마타 가족의 기대 수익이 이론적 최적값에 가까워지며, 오라클이 없더라도 성립함을 증명한다.

실험 결과

연구 질문

• RQ1 첫인상 중요성 편향은 계산 비용이 존재하는 상황에서 합리적인 행동으로 설명될 수 있는가?
• RQ2 서로 다른 사전 확률을 가진 에이전트들이 동일한 증거를 받는 상황에서 자원 제약 하에 신념 극단화가 합리적으로 발생할 수 있는가?
• RQ3 동적이고 불확실한 환경에서 N개 상태를 가진 유한 오토마타가 최적 의사결정을 얼마나 잘 근사할 수 있는가?
• RQ4 N이 증가함에 따라 근접 최적 성능을 내는 데 유한 오토마타 전략의 매개변수 설정은 무엇인가?
• RQ5 간단하고 저비용 전략이 자원이 제한된 실제 의사결정 문제에서 잘 작동할 수 있는가?

주요 결과

• π와 P_exp에 대한 온건한 조건 하에서, 오토마타 가족 A[N, p_exp, Pos, Neg, r_u, r_d]는 N이 증가함에 따라 이론적 최적값(x_G/2)에 임의로 가까워지는 기대 수익을 달성한다.
• π = 0.001, x_G = 1, 신호 수가 4개일 경우, 5개 상태를 가진 오토마타는 기대 수익 0.4 이상을 달성하며, 무작위 또는 고정 전략(0을 산출)보다 뚜렷이 뛰어나다.
• 동일한 조건에서 2개 상태 오토마타도 기대 수익 0.15 초과를 달성하여 최소 자원으로도 뛰어난 성능을 보인다.
• 성능은 강인하다: N=5일 때 최적의 p_exp를 사용하면 N≥5인 모든 경우에 근접 최적 성능를 달성하므로, 각 N에 대한 최적화가 필요로 하는 정도가 감소한다.
• 이론적 결과로는 어떤 의사결정 설정이라도 N→∞일 때 오토마타의 기대 수익이 최적값으로 수렴하는 매개변수 조합이 존재함을 보여준다.
• 복잡도 부과 모델과 유한 오토마타 모델 모두, 일반적인 인지 편향을 비합리성의 결과로 보는 것이 아니라 자원 제약에 대한 최적 반응으로 합리화한다.