[논문 리뷰] Credit Assignment: Challenges and Opportunities in Developing Human-like AI Agents

Thuy Ngoc Nguyen, Chase McDonald외 1명|arXiv (Cornell University)|2023. 07. 16.

Cognitive Science and Mapping인용 수 8

한 줄 요약

이 논문은 인스턴스 기반 학습의 세 가지 크레딧 할당 메커니즘(동등, 지수, TD)과 Q-러닝을 지연 피드백이 있는 그리드월드 과제에서 비교하고, 인간의 최대 성능과의 일치도에서 동등 크레딧이 최적의 수행과의 일치를 가장 잘 보이며 IBL-TD가 에피소드 내 최적 경로 수행과 가장 잘 일치한다는 것을 보인다. 인간은 의사결정의 복잡성에 의해 더 큰 영향을 받는 반면 모델은 그렇지 않다.

ABSTRACT

Temporal credit assignment is crucial for learning and skill development in natural and artificial intelligence. While computational methods like the TD approach in reinforcement learning have been proposed, it's unclear if they accurately represent how humans handle feedback delays. Cognitive models intend to represent the mental steps by which humans solve problems and perform a number of tasks, but limited research in cognitive science has addressed the credit assignment problem in humans and cognitive models. Our research uses a cognitive model based on a theory of decisions from experience, Instance-Based Learning Theory (IBLT), to test different credit assignment mechanisms in a goal-seeking navigation task with varying levels of decision complexity. Instance-Based Learning (IBL) models simulate the process of making sequential choices with different credit assignment mechanisms, including a new IBL-TD model that combines the IBL decision mechanism with the TD approach. We found that (1) An IBL model that gives equal credit assignment to all decisions is able to match human performance better than other models, including IBL-TD and Q-learning; (2) IBL-TD and Q-learning models underperform compared to humans initially, but eventually, they outperform humans; (3) humans are influenced by decision complexity, while models are not. Our study provides insights into the challenges of capturing human behavior and the potential opportunities to use these models in future AI systems to support human activities.

연구 동기 및 목표

• 지연된 피드백이 있는 역동적 작업에서 인간과 유사한 AI를 위한 시간적 크레딧 할당 연구를 동기화한다.
• IBLT의 여러 크레딧 할당 variante(동등, 지수, TD)을 RL 기준선 및 인간 데이터와 대조한다.
• 어떤 메커니즘이 인간 행동을 가장 잘 재현하고 어떤 메커니즘이 다양한 의사결정 복잡성에서 최적의 성능을 산출하는지 결정한다.

제안 방법

• IBL-동등, IBL-지수, IBL-TD의 세 가지 IBL 크레딧 할당 메커니즘을 인스턴스 기반 학습 이론(IBLT) 모델에 구현한다.
• IBL에 시간차(TD) 메커니즘을 확장하여 IBL-TD를 형성한다.
• 단순 및 복잡 의사결정 맥락을 가진 두 가지 그리드월드 실험에서 인간 데이터를 수집하고 모델 예측과 대조한다.
• TD 기반 접근법의 벤치마크로 Q-러닝 RL 기준선을 사용한다.
• 구성당 40에피소드씩 총 378번의 실행을 단순/복잡 그리드에서 수행하고 PMax와 POpt 지표로 평가한다.
• 조건 간 모델과 인간의 수행을 학습 곡선을 분석하고 직접 비교한다.

Figure 1 : Experimental scenarios.

실험 결과

연구 질문

• RQ1 지연 피드백 순차 과제에서 IBLT 내 어떤 크레딧 분배 메커니즘이 인간 행동과 가장 잘 일치하는가?
• RQ2 TD 기반 방법(IBL-TD, Q-러닝)이 동등 또는 지수 크레딧 분배보다 인간 성능과의 일치를 개선하는가, 특히 다양한 의사결정 복잡성 하에서?
• RQ3 의사결정 복잡성이 지연된 결과가 있는 그리드월드 내 인간과 인지 모델에 어떤 영향을 미치는가?
• RQ4 IBL 기반 모델이 동적 환경에서 인간과 같은 전략 형성 및 학습 궤적에 대해 설명을 제공할 수 있는가?

주요 결과

모델	단순 PMax	단순 차이	단순 POpt	단순 차이	복잡한 PMax	복잡한 차이	복잡한 POpt	복잡한 차이
Human	0.71	—	0.66	—	0.48	—	0.43	—
IBL-Equal	0.80	0.09	0.73	0.25	0.73	0.25	0.37	-0.06
IBL-Exponential	0.79	0.08	0.67	-0.01	0.67	0.19	0.42	-0.01
IBL-TD	0.68	-0.04	0.62	0.14	0.62	0.14	0.44	0.01
Q-learning	0.67	-0.05	0.61	0.13	0.61	0.13	0.40	-0.03
IBL-Equal Complex	0.73	0.25	0.37	-0.06	0.73	0.25	0.37	-0.06
IBL-Exponential Complex	0.67	0.19	0.42	-0.01	0.67	0.19	0.42	-0.01
IBL-TD Complex	0.62	0.14	0.44	0.01	0.62	0.14	0.44	0.01
Q-learning Complex	0.61	0.13	0.40	-0.03	0.61	0.13	0.40	-0.03

• IBL-동등은 최고 값 타깃(PMax)을 달성하는 에피소드 수를 최대화하는 인간 성능과 가장 잘 일치한다.
• IBL-TD는 에피소드 내 최적 경로(POptimal) 달성에서 인간 성능과 가장 잘 일치한다.
• TD 기반 모델(IBL-TD, Q-learning)은 느리게 시작하지만 빠르게 개선되며 복잡한 환경에서 인간 성능을 넘어설 수 있다.
• humans는 의사결정 복잡성에 민감하지만 TD 기반 모델은 복잡성에 거의 영향을 받지 않는다.
• 단순한 그리드에서는 TD 모델이 PMax에서 인간보다 뒤지지만 따라잡고, 복잡한 그리드에서는 PMax와 POpt에서 인간 성능을 넘어설 수 있다.
• IBL-지수 및 IBL-동등은 단순 설정에서 PMax 패턴을 잘 포착하지만, 복잡 설정에서 POpt에서 인간과 비교해 차이가 있다.

(a) Simple grid