[논문 리뷰] Inverse Decision Modeling: Learning Interpretable Representations of Behavior

Daniel Jarrett, Alihan Hüyük외 1명|arXiv (Cornell University)|2023. 10. 28.

Explainable Artificial Intelligence (XAI)참고 문헌 74인용 수 4

한 줄 요약

이 논문은 순차적 의사결정 행동의 해석 가능하고 파arameterized 표현을 학습하기 위한 통합 프레임워크인 역의사결정모델링(Inverse Decision Modeling, IDM)을 소개한다. 이는 정상적(노멀러티브) 문제와 역설적(술술러티브) 문제를 체계적으로 정의함으로써, 의사결정 복잡성, 주관성, 불확실성 등을 반영한 유한 합리성의 학습을 가능하게 한다. 주요 매개변수로는 유연성, 낙관성, 적응성 등이 포함된다.

ABSTRACT

Decision analysis deals with modeling and enhancing decision processes. A principal challenge in improving behavior is in obtaining a transparent description of existing behavior in the first place. In this paper, we develop an expressive, unifying perspective on inverse decision modeling: a framework for learning parameterized representations of sequential decision behavior. First, we formalize the forward problem (as a normative standard), subsuming common classes of control behavior. Second, we use this to formalize the inverse problem (as a descriptive model), generalizing existing work on imitation/reward learning -- while opening up a much broader class of research problems in behavior representation. Finally, we instantiate this approach with an example (inverse bounded rational control), illustrating how this structure enables learning (interpretable) representations of (bounded) rationality -- while naturally capturing intuitive notions of suboptimal actions, biased beliefs, and imperfect knowledge of environments.

연구 동기 및 목표

• 실제 에이전트에서 불완전하고 유한 합리적인 의사결정을 투명하게 기술하는 데 도전하는 것.
• 기존의 이mitation 학습 및 리워드 학습 접근법을 통합하고 확장하는 일반적인 역의사결정모델링 프레임워크를 체계화하는 것.
• 부적절한 행동, 편향된 신념, 제한된 환경 지식 등의 행동적 결함을 해석 가능한 방식으로 표현하는 것.
• 노멀러티브 최적성이라는 가정을 하지 않고 관측된 행동에서 기술적 매개변수(예: 유연성, 낙관성)를 학습하는 방법을 개발하는 것.
• 감사 가능성을 지원하고 개인의 의사결정 궤적을 분석할 수 있도록 하는 구조적이고 파arameterized된 유한 합리성 모델을 제공하는 것.

제안 방법

• 일반화된 계획 연산자로 최적 제어 및 기대효용 이론을 포함하는 범용 계획 연산자에 기반해 정상적 문제를 체계화한다.
• 관측된 행동에서 에이전트 매개변수(예: 유연성, 낙관성)를 이중 최적화 프레임워크를 통해 추론하는 기술적 모델로 역문제를 정의한다.
• 특정 구현으로서 유한 합리성 제어의 역모델링(Inverse Bounded Rational Control, IBRC)을 도입하며, α⁻¹(유연성), β⁻¹(낙관성), η⁻¹(적응성) 등의 매개변수로 유한 합리성을 모델링한다.
• 신뢰 상태(z)를 주관적 동역학의 충분통계량으로 사용하여 신뢰 조건부 행동을 통한 정책 학습의 마르코프화를 가능하게 한다.
• KL 발산 최소화를 통한 소프트 정책 매칭을 적용하여 인식 및 사양 정책을 학습하며, 신뢰 전파를 통해 처리 가능한 최적화로 축소한다.
• 벨먼 연산자와 가치 함수 수축을 활용하여 역계획 과정의 안정성과 수렴성을 보장한다.

실험 결과

연구 질문

• RQ1 관측된 의사결정 시퀀스에서 어떻게 체계적으로 유한 합리성의 매개변수를 표현하고 학습할 수 있는가?
• RQ2 역의사결정모델링은 기존의 이mitation 학습 및 리워드 학습 프레임워크를 어떻게 일반화하는가?
• RQ3 부적절한 행동이나 편향된 신념과 같은 행동적 결함을 어떻게 정상적 모델에서의 구조적 이탈로 해석할 수 있는가?
• RQ4 신뢰 상태와 주관적 동역학은 불확실성 하에서 의사결정의 해석 가능한 모델링을 어떻게 가능하게 하는가?
• RQ5 이 프레임워크는 임상 진단 궤적과 같은 실제 의사결정의 감사 가능성을 지원할 수 있는가?

주요 결과

• 역유한합리성제어(IBRC) 프레임워크는 관측된 행동에서 해석 가능한 매개변수인 유연성(α⁻¹), 낙관성(β⁻¹), 적응성(η⁻¹)을 성공적으로 학습하여, 유한 합리성의 체계적 모델링을 가능하게 한다.
• 벨먼 연산자의 수축을 통해 안정적인 수렴이 달성되며, ‖B V − B V′‖∞ ≤ γε를 만족하여 가치 함수 추정의 강건성을 확보한다.
• 신뢰 단순체 내의 신뢰 궤적(예: 알츠하이머병 진단)은 유한 합리성에 기인한 지연 진단과 같은 해석 가능한 의사결정 패턴을 드러낸다.
• 이 프레임워크는 직관적인 행동 현상을 포괄한다. 예를 들어, 임상의는 높은 의사결정 복잡성이나 신념 불확실성으로 인해 이론적으로 최적 정책이 권장하는 MRI 검사를 피할 수 있다.
• KL 발산 최소화를 통한 소프트 정책 매칭은 처리 가능한 최적화로 이어지며, 엔트로피 항이 상쇄되어 효율적인 훈련을 위한 식(24)로 수렴한다.
• 이 방법은 행동 콜레징과 분포 매칭을 일반화하며, 기대효용 최적화를 넘어서 낙관성 또는 위험 민감성 모델링과 같은 더 풍부한 분석을 가능하게 한다.