[논문 리뷰] In-context learning agents are asymmetric belief updaters

Johannes A. Schubert, Akshay K. Jagadish외 2명|arXiv (Cornell University)|2024. 02. 06.

Data Stream Mining Techniques인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)의 인라인 학습에서, 특히 기관이 암시될 경우, 긍정적인 예측 오차(기대에 비해 더 나은 결과)에서 더 많이 학습하는 비대칭적 믿음 갱신이 나타남을 보여준다. 이는 부정적인 예측 오차보다 더 강한 경향을 보이며, 이는 인간의 인지 패턴과 유사하다. 반면, 선택되지 않은 옵션에 대한 반사적 피드백에서는 이 경향이 뒤집히고, 기관이 암시되지 않을 경우 사라지며, 메타강화학습(Meta-RL) 에이전트가 최적의 학습을 위해 훈련된 경우에도 유사한 비대칭성이 나타나, 이러한 비대칭성이 특정 프레임워크 하에서는 합리적일 수 있음을 시사한다.

ABSTRACT

We study the in-context learning dynamics of large language models (LLMs) using three instrumental learning tasks adapted from cognitive psychology. We find that LLMs update their beliefs in an asymmetric manner and learn more from better-than-expected outcomes than from worse-than-expected ones. Furthermore, we show that this effect reverses when learning about counterfactual feedback and disappears when no agency is implied. We corroborate these findings by investigating idealized in-context learning agents derived through meta-reinforcement learning, where we observe similar patterns. Taken together, our results contribute to our understanding of how in-context learning works by highlighting that the framing of a problem significantly influences how learning occurs, a phenomenon also observed in human cognition.

연구 동기 및 목표

• 통제된 강화학습 과제에서 LLM의 인라인 학습 동역학이 인간의 인지 과정과 어떻게 비교되는지 조사하기.
• LLM에서 관찰된 비대칭적 믿음 갱신이 합리적인 전략인지인지, 문제 프레임워크의 차이에 따라 테스트하기.
• 메타강화학습(Meta-RL)을 통해 유도된 이상화된 인라인 학습 에이전트가 LLM과 인간에서 관찰된 비슷한 비대칭 학습 패턴을 재현하는지 평가하기.
• 기본 및 반사적 피드백이 인간 및 인공 에이전트의 학습 비대칭성에 미치는 영향을 평가하기.
• 이러한 발견이 실제 응용에서 효과적인 인라인 학습 프롬프트를 설계하는 데 미치는 영향 탐색하기.

제안 방법

• 인지심리학에서 유래한 이중선택강제과제(2AFC)를 변형하여 LLM, 인간, 메타강화학습(Meta-RL) 에이전트의 인라인 학습 동역학을 연구.
• 행동 데이터에 Rescorla-Wagner 모델의 변종을 적합하여 학습률을 추정하고 믿음 갱신 규칙을 유추.
• ADAM 최적화를 사용한 액터-크리틱 강화학습을 통해 2AFC 과제에서 Transformer 기반 Meta-RL 에이전트를 훈련하여 수렴 시 베이즈 최적의 인라인 학습을 가능하게 함.
• 부분 피드백(선택된 옵션만), 전체 피드백(모든 옵션), 강제선택(기본 없음)의 세 조건에서 학습 동역학을 비교.
• 계산 모델링을 통해 학습률 매개변수를 추출하고, 특히 긍정적 및 부정적 예측 오차 간의 비대칭성에 중점을 두어 비교.
• 모든 에이전트의 가중치 업데이트 없이 훈련 후 학습 동역학을 분리하여 인라인 학습 행동을 고립적으로 평가.

Figure 1: Schematic of our methodology, where we evaluate the learning dynamics of LLMs, humans, and meta-reinforcement learning (Meta-RL) agents on two-alternative forced choice tasks. After evaluating the agents on the tasks, we fit variants of cognitive models based on the Rescorla-Wagner (RW) mo

실험 결과

연구 질문

• RQ1 LLM의 인라인 학습에서 믿음 갱신이 비대칭적일까? 특히 긍정적 예측 오차(기대를 초월한 결과)보다 부정적 예측 오차(기대 이하의 결과)에서 더 많이 학습하는가?
• RQ2 과제 프레임워크에서 기관의 유무가 LLM의 학습 비대칭성에 영향을 미치는가?
• RQ3 선택되지 않은(반사적) 옵션에 대한 피드백이 제공될 경우 학습 패턴이 뒤집힐까?
• RQ4 최적의 학습을 위해 훈련된 이상화된 Meta-RL 에이전트가 LLM과 인간에서 관찰된 비슷한 비대칭 학습 패턴을 재현하는가?
• RQ5 Meta-RL 에이전트의 행동에 따르면, 연구된 과제 조건 하에서 비대칭적 믿음 갱신이 합리적인가?

주요 결과

• LLM은 기관이 암시될 경우 인라인 학습에서 낙관주의 편향을 보이며, 기대를 초월한 결과(긍정적 예측 오차)에서 기대 이하의 결과(부정적 예측 오차)보다 더 많이 학습한다.
• 선택되지 않은 옵션에 대한 피드백이 제공될 경우, 학습 비대칭성이 뒤집힌다: LLM은 해당 옵션에 대해 부정적 예측 오차에서 긍정적 예측 오차보다 더 많이 학습한다.
• 기본 없이 강제 선택이 이루어지는 시험에서는 낙관주의 편향이 사라지며, 이는 선택과 통제의 프레임워크가 비대칭 갱신의 발생에 결정적인 역할을 한다는 것을 시사한다.
• 베이즈 최적의 학습을 위해 훈련된 Meta-RL 에이전트는 LLM과 인간에서 관찰된 비슷한 비대칭 학습 패턴을 재현하며, 이는 이러한 행동이 과제 구조 하에서는 합리적일 수 있음을 확인한다.
• 관찰된 학습 비대칭성은 모델 아키텍처의 산물이 아니라 문제 프레임워크, 특히 기관과 반사적 피드백에 의해 유도되며, 이는 설계 선택이 학습 결과에 중대한 영향을 미칠 수 있음을 시사한다.
• 이러한 발견들은 인간과 LLM의 낙관주의 편향이 인지적 결함이 아니라 특정 과제 구조에 대한 합리적 반응일 수 있음을 시사한다. 특히 관찰되는 것은 선택된 결과 뿐일 경우에 더욱 그렇다.

Figure 2: 2AFC task with partial feedback. (a) Presentation of a single trial. First, two slot machines, shown as symbols, are presented. After a choice is made, the outcome is shown. (b) Average performance of the LLM and humans measured in terms of regret. Performance improves over trials. (c) Mod