[논문 리뷰] Training Value-Aligned Reinforcement Learning Agents Using a Normative Prior

Md Sultan Al Nahian, Spencer Frazier외 2명|arXiv (Cornell University)|2021. 04. 19.

Ethics and Social Impacts of AI인용 수 6

한 줄 요약

이 논문은 작업 기반 강화 학습와 범주적 사전 지식—행동를 범주적 또는 비범주적로 분류하는 언어 모델—을 조합한 정책 형상화 방법을 제안한다. 이는 효과적일 뿐 아니라 윤리적으로도 일치하는 에이전트를 훈련시키는 데 목적이 있다. 환경적 작업 보상과 내재된 범주적 보상 간의 균형을 통해, 이 방법은 특히 범주적 행동이 작업 효율성과 충돌하는 복잡한 상황에서 유해하지 않은, 이타적인 행동을 일관되게 선택하는 에이전트를 생성한다.

ABSTRACT

As more machine learning agents interact with humans, it is increasingly a prospect that an agent trained to perform a task optimally, using only a measure of task performance as feedback, can violate societal norms for acceptable behavior or cause harm. Value alignment is a property of intelligent agents wherein they solely pursue non-harmful behaviors or human-beneficial goals. We introduce an approach to value-aligned reinforcement learning, in which we train an agent with two reward signals: a standard task performance reward, plus a normative behavior reward. The normative behavior reward is derived from a value-aligned prior model previously shown to classify text as normative or non-normative. We show how variations on a policy shaping technique can balance these two sources of reward and produce policies that are both effective and perceived as being more normative. We test our value-alignment technique on three interactive text-based worlds; each world is designed specifically to challenge agents with a task as well as provide opportunities to deviate from the task to engage in normative and/or altruistic behavior.

연구 동기 및 목표

• 작업 성능 최적화에만 초점을 맞춘 에이전트가 유해하거나 비범주적인 행동을 피할 수 있도록 훈련시키는 도전 과제를 해결하기 위해.
• 사전 훈련된 범주적 분류기를 정책 학습 과정에 통합하여 가치 기반 행동을 촉진하는 방법을 개발하기 위해.
• 작업 보상과 범주적 보상의 조합이 효과적일 뿐 아니라 윤리적이거나 이타적인 것으로 평가되는 에이전트를 도출하는지 평가하기 위해.
• 범주적 목표와 작업 목표가 충돌할 수 있는 다양한 상호작용 환경에서 이 방법의 견고성을 테스트하기 위해.
• 사전 훈련 이후 인간의 간섭을 최소한으로 유지하면서도 범주적 행동을 학습할 수 있음을 보여주기 위해.

제안 방법

• 이 방법은 두 가지 스트림 보상 신호를 사용한다: 환경에서 온 보상(작업 성과)과 사전 훈련된 범주적 분류기에서 온 보상(범주적 행동).
• 정책 형상화 기법은 환경적 보상과 범주적 보상의 가중 조합을 사용하여 두 보상 신호를 동적으로 균형을 맞춘다.
• 범주적 사전 지식은 Frazier 등(2019)의 사전 훈련된 언어 모델을 미세조정한 것으로, 사회적 기대에 기반해 행동 기술을 범주적 또는 비범주적으로 분류한다.
• 에이전트는 복합 보상 함수를 통해 강화 학습되며, 이는 작업 성공과 범주적 행동 선택을 동시에 장려한다.
• 이 방법은 텍스트월드 프레임워크를 사용해 구축한 세 가지 텍스트 기반 상호작용 환경(플레이그라운드, 슈퍼히어로, 클럽 월드)에서 평가된다.
• 보상 가중치와 행동 기술 서술의 어조에 민감한지 평가하기 위해 정책 형상화 방법의 다양한 변형(GG-shaped, GG-pos, GG-mix)이 테스트된다.

Figure 1: Exemplar question given as a prompt Amazon Mechanical Turk workers. The text in red is one of the admissible action commands to the text world environment.

실험 결과

연구 질문

• RQ1 범주적 사전 지식을 효과적으로 사용하여 유해하지 않고 사회적으로 수용 가능한 행동으로 정책을 형상화할 수 있는가?
• RQ2 작업 보상과 범주적 보상 간의 균형이 에이전트의 성능과 윤리적 행동에 어떤 영향을 미치는가?
• RQ3 작업 효율성과 범주적 행동 선택 간의 트레이드오프를 정책 형상화 방법이 어느 정도 잘 처리할 수 있는가?
• RQ4 범주적 사전 지식은 행동 기술 서술의 어조에 얼마나 민감한가, 그리고 이는 에이전트 행동에 어떤 영향을 미치는가?
• RQ5 범주적 목표와 작업 목표가 충돌할 수 있는 다양한 환경에서 이 방법이 일반화 가능한가?

주요 결과

• GG-shaped 에이전트는 환경적 보상과 범주적 보상을 균형 있게 조정하여, 훈련 반복 동안 기준 에이전트 대비 2~6배 높은 범주적 행동을 달성했다.
• 클럽 월드 환경에서 GG-shaped 에이전트는 범주적 행동이 작업 보상 감소를 초래하는 상황에서도 높은 범주적 성능을 유지했으며, 복잡한 트레이드오프 상황에서 GG-pos 및 GG-mix보다 뛰어난 성능을 보였다.
• GG-pos 및 GG-mix 변형은 더 많은 환경적 보상을 유지했지만, 비용이 많이 드는 이타적 행동이 요구되는 환경에서는 높은 범주적 점수를 달성하지 못했다.
• 행동 기술 서술의 표현 방식이 범주적 분류에 상당한 영향을 미쳐, 범주적 사전 지식이 언어적 프레임에 민감함을 보였다.
• 플레이그라운드와 슈퍼히어로와 같은 더 간단한 환경에서는 이 방법이 작업 성능을 희생시키지 않고도 범주적 행동을 수행하는 데 성공했다.
• 이 방법은 사전 훈련된 범주적 분류기 외에 인간의 간섭을 최소한으로 유지하면서도 가치 일치를 달성할 수 있음을 보여주며, 실세계 적용에 있어 확장 가능성을 시사한다.

Figure 2: Visualization of the Playground room graph