[논문 리뷰] Modeling Human Exploration Through Resource-Rational Reinforcement Learning

Marcel Binz, Eric Schulz|arXiv (Cornell University)|2022. 01. 27.

Reinforcement Learning in Robotics인용 수 8

한 줄 요약

이 논문은 자원 유연성 강화학습(RR-RL²)을 제안한다. 이는 성능를 최소 기술 길이(비트)로 교환함으로써 탐색을 최적화하는 메타학습된 알고리즘이다. 이는 인간 행동을 모델링하는 데 있어 표준 방법들인 톰슨 샘플링과 UCB보다 뛰어나며, 기술 길이 조작을 통해 발달적 및 임상적 변화를 반영한다. 또한 인간과 유사한 탐색을 위한 생물학적으로 타당한 프레임워크를 제공한다.

ABSTRACT

Equipping artificial agents with useful exploration mechanisms remains a challenge to this day. Humans, on the other hand, seem to manage the trade-off between exploration and exploitation effortlessly. In the present article, we put forward the hypothesis that they accomplish this by making optimal use of limited computational resources. We study this hypothesis by meta-learning reinforcement learning algorithms that sacrifice performance for a shorter description length (defined as the number of bits required to implement the given algorithm). The emerging class of models captures human exploration behavior better than previously considered approaches, such as Boltzmann exploration, upper confidence bound algorithms, and Thompson sampling. We additionally demonstrate that changing the description length in our class of models produces the intended effects: reducing description length captures the behavior of brain-lesioned patients while increasing it mirrors cognitive development during adolescence.

연구 동기 및 목표

• 인간의 탐색 행동이 제한된 계산 자원의 최적 사용에서 비롯되는지 조사하는 것.
• 성능를 더 짧은 알고리즘 기술 길이로 교환함으로써, 인지 자원 제약을 반영하는 강화학습 프레임워크를 개발하는 것.
• 모델의 기술 길이를 조작함으로써 인간의 탐색 행동 변화가 발달 및 뇌 손상 기간 동안 관찰되는 바와 유사하게 재현되는지 테스트하는 것.
• 표준 밴딧 모델을 초월하는 통합적이고 생물학적으로 타당한 인간 탐색의 설명을 제공하는 것.

제안 방법

• 알고리즘의 기술 길이(구현에 필요한 비트 수)에 제약을 두고 성능 최적화를 통해 강화학습 정책을 메타학습하는 것.
• 최소 기술 길이(MDL) 원리에서 영감을 얻은 정보 이론적 정규화를 사용하여 기대 수익과 알고리즘 복잡도를 균형 잡는 것.
• 알고리즘의 기술 길이 제약을 조정하여 인지 자원 제약를 시뮬레이션하고, 인간 및 환자 행동과의 비교를 가능하게 하는 것.
• 정책을 순환 신경망으로 표현하고, 기술 길이를 그 가중치와 아키텍처를 인코딩하는 데 필요한 비트 수로 측정하는 것.
• 메타강화학습을 통해 사전 확률가 알려진 밴딧 작업 분포에 걸쳐 정책을 최적화하는 것.
• 세 편의 심리학적 연구에서 수집된 인간의 결정 행동 데이터를 재분석하기 위해 모델을 적용하는 것.

실험 결과

연구 질문

• RQ1 표준 히우리스틱인 톰슨 샘플링이나 UCB보다 자원 유연성 강화학습 모델이 인간의 탐색 행동을 더 잘 설명할 수 있는가?
• RQ2 모델의 강화학습 알고리즘 기술 길이를 줄이면 뇌 손상 환자에서 관찰된 탐색 패턴을 재현할 수 있는가?
• RQ3 모델의 기술 길이를 늘리면 청소년기 발달 과정에서 관찰되는 무작위 탐색에서 방향성 있는 탐색으로의 전환을 반영할 수 있는가?
• RQ4 단일 메타학습된 알고리즘이 다양한 인지 맥락에서 인간 탐색의 정성적 및 정량적 특징을 모두 포괄할 수 있는가?

주요 결과

• RR-RL²는 이원 밴딧 작업에서 인간의 선택을 설명하는 데 있어 톰슨 샘플링, UCB 및 그 혼합 모델보다 정성적·정량적으로 뛰어난 성능을 보였다.
• RR-RL²의 기술 길이를 줄임으로써 전두엽 피질 병변 환자에서 관찰된 바와 유사한 탐색 패턴을 재현했으며, 이는 전략적 탐색 능력 상실을 시사한다.
• RR-RL²의 기술 길이를 늘림으로써 청소년기 발달 과정에서 관찰되는 무작위 탐색에서 방향성 있는 탐색으로의 전환을 모방했으며, 이는 인지 제어 능력 향상을 시사한다.
• 모델의 성능는 다양한 작업 구조에서 뛰어난 안정성을 보였으며, 낮은 기술 길이 알고리즘은 일반화를 촉진하는 강력한 정규화 요소임을 입증했다.
• 모델의 예측은 세 편의 심리학적 연구의 실증 데이터와 일치했으며, 실제 인간 행동을 포괄하는 능력을 검증했다.
• 이 프레임워크는 최소 기술 길이가 생물학적 제약 외에도 기능적 특성으로서 작용하여 강건하고 영역 일반적인 탐색 전략을 가능하게 한다는 시사점을 제공한다.