[논문 리뷰] Bandit Models of Human Behavior: Reward Processing in Mental Disorders

Djallel Bouneffouf, Irina Rish외 1명|arXiv (Cornell University)|2017. 06. 07.

Advanced Bandit Algorithms Research참고 문헌 15인용 수 4

한 줄 요약

이 논문은 파킨슨병, ADHD, 중독, 만성 통증과 같은 정신질환에서 관찰되는 보상 처리 편향을 정량적으로 모델링하기 위해 톰슨 샘플링의 매개변수 확장을 제안한다. 이는 양성/음성 보상과 보상 이력에 대한 가중치를 조정함으로써 이루어지며, 다양한 데이터셋에서 표준 톰슨 샘플링보다 뛰어난 성능을 보이며, 음성 및 양성 보상 환경 모두에서 개선된 성능을 보이며, 정신질환에서의 의사결정 이상을 연구하는 통합적인 계산 프레임워크를 제공한다.

ABSTRACT

Drawing an inspiration from behavioral studies of human decision making, we propose here a general parametric framework for multi-armed bandit problem, which extends the standard Thompson Sampling approach to incorporate reward processing biases associated with several neurological and psychiatric conditions, including Parkinson's and Alzheimer's diseases, attention-deficit/hyperactivity disorder (ADHD), addiction, and chronic pain. We demonstrate empirically that the proposed parametric approach can often outperform the baseline Thompson Sampling on a variety of datasets. Moreover, from the behavioral modeling perspective, our parametric framework can be viewed as a first step towards a unifying computational model capturing reward processing abnormalities across multiple mental conditions.

연구 동기 및 목표

• 신경학적 및 정신질환에서 관찰되는 보상 처리 편향을 포괄하는 유연한 계산 모델을 개발하는 것.
• 표준 톰슨 샘플링 알고리즘을 확장하여 파킨슨병에서의 음성 피드백에 대한 민감도 증가와 같은 질환 특이적 학습 편향을 통합하는 것.
• 제안된 매개변수화된 모델이 기준 톰슨 샘플링 대비 다중 손잡이 밴딧 작업에서 성능 향상을 보이는지 평가하는 것.
• 단일 매개변수화된 밴딧 접근 방식을 통해 다양한 정신질환에서의 비정상적 보상 처리를 통합적으로 모델링하는 프레임워크를 제공하는 것.

제안 방법

• 모델은 양성 및 음성 보상에 대한 가변 가중치와 보상 이력 정보에 대한 가중치를 도입함으로써 베르누이 톰슨 샘플링을 확장한다.
• 질환 특이적 편향 매개변수에 기반한 매개변수화된 업데이트 규칙을 사용하여 사후 신뢰도 업데이트를 수정함으로써 보상 성향과 기억 감쇠에 대한 민감도를 조정할 수 있다.
• ADHD, 중독, 파킨슨병, 알츠하이머병 등의 다양한 변종을 지원하며, 각각의 경우는 알려진 행동 편향을 반영한 고유한 매개변수 설정을 갖는다.
• 모델은 표준 UCI 밴딧 벤치마크 데이터셋을 기반으로 훈련 및 평가되며, 세 가지 보상 제도에서 평가된다: 양성 보상 전용, 음성 보상 전용, 혼합(정상) 보상 환경.
• 파킨슨병에서의 양성 결과 학습 장애와 같은 임상 집단의 행동 결함 관찰 결과를 바탕으로 매개변수 조정을 유도한다.
• 성능 평가는 누적 회귀를 기준으로 하며, 오차율은 총 회귀량을 반복 횟수로 나눈 값으로 계산된다.

실험 결과

연구 질문

• RQ1 톰슨 샘플링의 매개변수 확장이 특정 정신질환과 연관된 보상 처리 편향을 효과적으로 모델링할 수 있는가?
• RQ2 제안된 모델이 다양한 보상 조건 하에서 밴딧 학습 작업에서 표준 톰슨 샘플링을 능가하는가?
• RQ3 모델은 파킨슨병에서의 음성 피드백에 대한 민감도 증가나 중독에서의 기억 상실 장애와 같은 알려진 행동 표현형을 재현할 수 있는가?
• RQ4 동일한 매개변수 프레임워크를 통해 공통적인 계산 원리를 기반으로 다양한 정신질환의 모델링을 어느 정도 통합할 수 있는가?

주요 결과

• 제안된 매개변수화된 밴딧 모델은 모든 데이터셋과 보상 환경에서 표준 톰슨 샘플링을 일관되게 능가하였으며, 모든 평가 설정에서 낮은 누적 회귀를 기록하였다.
• 양성 보상 환경에서는 중독(AD) 및 ADHD 모델이 가장 뛰어난 성능을 보였으며, AD는 네 개 데이터셋 중 두 개에서 가장 낮은 오차율을 기록하였다.
• 음성 보상 환경에서는 중간(M) 모델이 네 개 데이터셋 중 세 개에서 가장 뛰어난 성능을 보였으며, 일부 질환에서 음성 결과에 대한 학습 능력 향상과 일치하는 임상 관찰 결과를 반영하였다.
• 파킨슨병(PD) 및 만성 통증(CP) 모델은 음성 환경에서 뛰어난 성능을 보였으며, 문헌에서 보고된 바와 같이 이들 질환에서 음성 피드백에 의존한 학습이 이루어짐을 뒷받침하였다.
• 알츠하이머병(AZ) 및 ADHD 모델은 양성 및 음성 환경 모두에서 상위 성능를 기록하여, 이들 질환에서 두 유형의 보상에서의 학습 능력이 상대적으로 유지됨을 시사하였다.
• 모델 간에 한 가지가 모든 설정에서 우세하지는 않았으며, 다양한 행동적 및 환경적 맥락에 따라 서로 다른 매개변수 설정이 최적임을 시사하였다.