[논문 리뷰] MORAL: Aligning AI with Human Norms through Multi-Objective Reinforced Active Learning

Markus F. Peschl, Arkady Zgonnikov외 2명|arXiv (Cornell University)|2021. 12. 30.

Ethics and Social Impacts of AI인용 수 8

한 줄 요약

MORAL은 전문가의 시연로부터 인간의 규범과 일치하는 AI 에이전트를 학습하기 위해 적대적 역강화학습과 능동적 선호 학습을 결합한 다목적 강화학습 프레임워크를 제안한다. 정책 최적화를 위한 선형 조합으로서의 스칼라화 가중치 분포를 온폴리시 경험을 통해 학습함으로써, 다수의 보상 가중치를 나열하지 않고도 파레토 최적 정책을 효율적으로 식별한다. 이는 복잡하고 상충되는 상황에서 규범적 행동을 포착하는 데 이전의 방법들을 능가한다.

ABSTRACT

Inferring reward functions from demonstrations and pairwise preferences are auspicious approaches for aligning Reinforcement Learning (RL) agents with human intentions. However, state-of-the art methods typically focus on learning a single reward model, thus rendering it difficult to trade off different reward functions from multiple experts. We propose Multi-Objective Reinforced Active Learning (MORAL), a novel method for combining diverse demonstrations of social norms into a Pareto-optimal policy. Through maintaining a distribution over scalarization weights, our approach is able to interactively tune a deep RL agent towards a variety of preferences, while eliminating the need for computing multiple policies. We empirically demonstrate the effectiveness of MORAL in two scenarios, which model a delivery and an emergency task that require an agent to act in the presence of normative conflicts. Overall, we consider our research a step towards multi-objective RL with learned rewards, bridging the gap between current reward learning and machine ethics literature.

연구 동기 및 목표

• 전문가의 시연로부터 다수의 상충 가능한 인간의 규범과 일치하는 AI 에이전트를 학습하는 데 도전하는 것.
• 단일 보상 학습의 한계를 극복하기 위해 다목적 프레임워크 내에서 다양한 전문가 선호 간의 트레이드오프를 가능하게 하는 것.
• 다양한 정책을 계산하지 않고도 파레토 최적의 정책을 근사하면서도 샘플 효율성을 확보하는 상호작용 기반의 방법을 개발하는 것.
• 보상 학습과 기계 윤리학 사이의 격차를 메우기 위해 인간이 참여하는 선호 질의를 통해 규범적 갈등에 대응할 수 있도록 에이전트를 적응시킬 수 있도록 하는 것.
• 배달 및 비상 상황과 같은 사회적 규범 준수를 요구하는 상황에서의 방법의 효과성을 입증하는 것.

제안 방법

• MORAL은 전문가의 시연로부터 벡터값 보상을 추론하기 위해 적대적 역강화학습(AIRL)을 먼저 적용한다.
• 그 후, 전문가에게 온폴리시 트레이젝터리 간의 쌍대 비교 선호를 요청하는 상호작용 기반의 다목적 강화학습 루프에 진입한다.
• 보상 성분의 선형 조합을 나타내는 스칼라화 가중치의 분포를 유지하여 정책 최적화를 이끈다.
• 선호 질의에 온폴리시 경험을 사용함으로써 별도의 탐색 정책이 필요로 하는 것을 방지하고 샘플 복잡도를 감소시킨다.
• 모든 보상 가중치를 나열하지 않고도 최적의 가중치 분포를 학습함으로써 직접적으로 파레토 최적의 정책을 근사한다.
• 딥 강화학습과 능동 학습을 통합하여 인간 선호에 동적으로 적응하면서도 정책의 일관성을 유지한다.

실험 결과

연구 질문

• RQ1 다목적 강화학습 프레임워크는 전문가의 시연로부터 다수의 인간 규범을 효과적으로 학습하고 상충하는가?
• RQ2 능동적 선호 학습은 역강화학습과 어떻게 통합되어 다목적 정책 학습에서 샘플 효율성을 향상시킬 수 있는가?
• RQ3 다른 보상 가중치에 대한 다수의 정책을 명시적으로 계산하지 않고도 파레토 최적의 정책을 근사할 수 있는가?
• RQ4 배달 및 비상 상황과 같은 규범 갈등이 존재하는 환경으로 일반화할 때 방법의 성능은 어떠한가?
• RQ5 일관된 전문가 행동으로부터 암묵적인 사회적 규범을 자동으로 추론할 수 있는 정도는 어느 정도인가?

주요 결과

• MORAL은 규범 갈등이 존재하는 두 개의 그리드월드 환경에서 DRLHP보다 이 작업에서 파레토 최적의 정책을 성공적으로 복원하였다.
• 온폴리시 경험을 활용한 능동적 선호 질의 덕분에 높은 샘플 효율성을 달성하여 필요한 전문가 상호작용의 수를 줄였다.
• 전문가의 시연가 일관성이 있을 경우 암묵적인 사회적 규범을 효과적으로 포착하여 질의 선택의 정보성도 입증하였다.
• 스칼라화 가중치의 분포 덕분에 재학습 없이도 정책 조정을 세밀하게 제어할 수 있었으며 정책 나열 없이도 가능했다.
• 다목적 강화학습에서 흔히 발생하는 보상 척도 불일치 문제를 완화하여 안정성과 수렴성을 향상시켰다.
• 실험 결과, MORAL은 상호작용 학습을 통해 다양한 인간 선호에 에이전트 행동을 적응시킬 수 있었으며 사회적 규범 준수를 유지하였다.