[논문 리뷰] How to talk so AI will learn: Instructions, descriptions, and autonomy

Theodore R. Sumers, Robert D. Hawkins외 3명|arXiv (Cornell University)|2022. 06. 16.

Decision-Making and Behavioral Economics인용 수 5

한 줄 요약

이 논문은 가치 정렬을 위한 인간-AI 상호작용의 형식적 모델을 제안하며, 지시(행동 특정 지시)와 서술(보상 함수 정보)를 구분한다. 서술은 자율성 높은 에이전트에 더 효과적이며, 지시는 저자율 설정에 적합하다. 실용적 청취자 모델은 언어로부터 인간의 보상 함수를 성공적으로 추론하여 강화 학습에서의 회한을 감소시킨다.

ABSTRACT

From the earliest years of our lives, humans use language to express our beliefs and desires. Being able to talk to artificial agents about our preferences would thus fulfill a central goal of value alignment. Yet today, we lack computational models explaining such language use. To address this challenge, we formalize learning from language in a contextual bandit setting and ask how a human might communicate preferences over behaviors. We study two distinct types of language: $ extit{instructions}$, which provide information about the desired policy, and $ extit{descriptions}$, which provide information about the reward function. We show that the agent's degree of autonomy determines which form of language is optimal: instructions are better in low-autonomy settings, but descriptions are better when the agent will need to act independently. We then define a pragmatic listener agent that robustly infers the speaker's reward function by reasoning about $ extit{how}$ the speaker expresses themselves. We validate our models with a behavioral experiment, demonstrating that (1) our speaker model predicts human behavior, and (2) our pragmatic listener successfully recovers humans' reward functions. Finally, we show that this form of social learning can integrate with and reduce regret in traditional reinforcement learning. We hope these insights facilitate a shift from developing agents that $ extit{obey}$ language to agents that $ extit{learn}$ from it.

연구 동기 및 목표

• 인간이 언어를 통해 선호도를 어떻게 전달하여 AI 학습을 이끌지 형식화하기.
• 지시와 서술적 언어 중 어느 것이 AI 에이전트 교육에 더 효과적인지 조사하기.
• 유언으로부터 인간의 보상 함수를 추론하는 실용적 청취자 모델 개발하기.
• 행동 실험을 통해 모델을 검증하고 강화 학습과 통합하기.

제안 방법

• 작업 시간 범위에 걸쳐 기대 보상을 최대화하도록 언어 선택을 하는 화자 모델을 포함한 문맥 기반 밴디트 프레임워크에서 언어로부터의 학습을 형식화한다.
• 두 가지 언어 유형을 구분한다: 지시(행동 지도 지침)와 서술(보상 함수 구조에 대한 정보).
• 화자의 보상 함수와 작업 시간 범위를 동시에 추정하는 베이지안 추론을 사용하는 실용적 청취자 모델을 제안하여 모델 잘못 설정 문제를 완화한다.
• 개인 학습 하에서 보상 함수 추론을 위해 공액 베이지안 업데이트를 사용하며, 정규 분포 사전과 우도를 적용한다.
• 중요도 샘플링을 사용하여 실용적 사회적 추론을 톰슨 샘플링과 통합하여 강화 학습에 적용한다.
• 기각 샘플링과 소프트 조건화를 사용하여 시뮬레이션에서 이산 보상 제약 조건과 일관성 없는 유언을 처리한다.

실험 결과

연구 질문

• RQ1 AI 에이전트를 가르치는 데 있어 지시 기반 소통이 서술적 언어보다 더 효과적인 경우는 언제인가?
• RQ2 에이전트의 자율성 수준(작업 시간 범위로 측정)이 가르치는 데 최적의 인간 언어 형태에 어떻게 영향을 미치는가?
• RQ3 모델 불확실성 하에서도 실용적 청취자 모델이 인간 화자의 보상 함수를 유언으로부터 정확히 추론할 수 있는가?
• RQ4 언어에서 유도된 사회적 추론을 통합함으로써 강화 학습의 학습 효율성이 향상되고 회한이 어떻게 감소하는가?

주요 결과

• 에이전트가 장기간에 걸쳐 자율적으로 행동할 것으로 예상될 경우, 보상 함수 서술이 지시보다 더 효과적이다.
• 즉각적인 직접 행동 지시가 가장 유용한 저자율 설정에서는 지시가 최적이다.
• 실용적 청취자 모델은 유언으로부터 인간의 보상 함수를 성공적으로 복원하여, 단순 해석보다 회한을 줄이는 데 뛰어난 성능을 보였다.
• 톰슨 샘플링과 실용적 추론을 통합함으로써 개인 학습만을 사용하는 것보다 학습 회한이 감소한다.
• 엄격하게 지시를 따르는 단순 청취자 모델은 잘못되거나 열악한 지시를 받을 경우, 항상 최적 정책에 갇힐 수 있다.
• 모델는 화자의 시간 범위와 보상 함수를 함께 추론함으로써 모델 잘못 설정에 대한 강건성을 향상시킨다는 점을 입증했다.