[논문 리뷰] Learning Norms from Stories: A Prior for Value Aligned Agents

Spencer Frazier, Sultan Al Nahian외 2명|arXiv (Cornell University)|2019. 12. 07.

Topic Modeling참고 문헌 29인용 수 10

한 줄 요약

이 논문은 Goofus & Gallant 만화 시리즈 코퍼스를 활용해 AI 에이전트의 가치 정렬 전제를 학습하는 방법을 제안한다. 이 코퍼스는 규범적(가틀런트)과 비규범적(구푸스) 행동을 대비시킨다. 트랜스포머 기반 모델들은 관련 없는 서사 데이터셋에서 높은 제로샷 전이 성능를 기록하며, 이야기로 학습한 규범이 추가 미세조정 없이도 가치 정렬을 위한 강력하고 일반화 가능한 전제로 기능할 수 있음을 보여준다.

ABSTRACT

Value alignment is a property of an intelligent agent indicating that it can only pursue goals and activities that are beneficial to humans. Traditional approaches to value alignment use imitation learning or preference learning to infer the values of humans by observing their behavior. We introduce a complementary technique in which a value aligned prior is learned from naturally occurring stories which encode societal norms. Training data is sourced from the childrens educational comic strip, Goofus and Gallant. In this work, we train multiple machine learning models to classify natural language descriptions of situations found in the comic strip as normative or non normative by identifying if they align with the main characters behavior. We also report the models performance when transferring to two unrelated tasks with little to no additional training on the new task.

연구 동기 및 목표

• 직접 모방 학습을 초월해 일반화 가능한 가치 정렬을 위한 기계 학습 전제를 개발하기 위해.
• 모방 학습의 한계, 즉 높은 데이터 요구량과 학습 중 유해 행동의 위험을 해결하기 위해.
• 어린이 만화를 포함한 자연스러운 이야기 자료를 규범적 및 비규범적 행동의 레이블링된 소스로 활용하기 위해.
• 스토리 코퍼스에서 학습한 모델이 추가 레이블링 없이도 관련 없는 작업으로 일반화할 수 있는지 평가하기 위해.
• 문화적으로 특정된 규범을 사용해 가치 정렬된 AI 시스템을 훈련시키는 데서 발생할 수 있는 윤리적 영향을 탐구하기 위해.

제안 방법

• 규범적 및 비규범적 행동 레이블이 명시된 Goofus & Gallant(G&G) 만화 시리즈 코퍼스를 데이터셋으로 사용한다.
• 이야기 사건의 자연어 기술을 추출하고, 캐릭터 행동에 기반해 규범적 또는 비규범적이라고 분류한다.
• BERT 및 RoBERTa와 같은 여러 기계 학습 모델을 G&G 코퍼스에 대해 미세조정하여 규범적 분류를 학습한다.
• 제로샷 전이 성능를 평가하기 위해 두 가지 관련 없는 데이터셋인 Plotto(일상적인 현실적 사건) 및 과학소설 플롯 요약 데이터셋을 사용한다.
• 새로운 작업에서 소량의 레이블된 데이터를 활용해 미세조정을 수행하여 성능 향상을 평가한다.
• 표준 분류 지표를 사용해 제로샷 및 희소샷 전이 성능를 평가한다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 모델은 자연스러운 이야기 코퍼스에서 높은 정확도로 규범적 및 비규범적 행동을 분류할 수 있는가?
• RQ2 Goofus & Gallant에서 사전 훈련한 모델이 추가적인 미세조정 없이도 관련 없는 서사 도메인으로 일반화할 수 있는 정도는 어느 정도인가?
• RQ3 소량의 작업 특화 레이블 데이터에 접근할 경우, 스토리 기반으로 훈련된 모델의 새로운 작업에서의 성능에 어떤 영향을 미치는가?
• RQ4 학습된 모델이 전통적인 모방 학습을 보완하는 견고한 전제로 기능할 수 있는가?
• RQ5 문화적으로 특정된 스토리 코퍼스를 사용해 가치 정렬된 AI 시스템을 훈련시키는 데서 발생할 수 있는 윤리적 리스크는 무엇인가?

주요 결과

• BERT 및 RoBERTa와 같은 트랜스포머 기반 모델은 Plotto 및 과학소설 서사 데이터셋 모두에서 높은 제로샷 전이 성능를 기록하며, 이야기 기반 규범에서의 강력한 일반화 능력을 보여준다.
• 제로샷 전이 성능에서 트랜스포머 모델은 비트랜스포머 모델보다 유의미하게 높은 성능를 보이며, 큰 격차를 유지한다.
• 새로운 작업에서 소량의 레이블된 예시에 대해 미세조정을 수행할 경우, 모델의 정확도가 원래 Goofus & Gallant 데이터셋 성능에 거의 도달할 정도로 향상된다.
• 가장 뛰어난 성능를 보인 모델들은 새로운 G&G 스토리 기술에서 규범적 행동을 높은 정확도로 분류할 수 있었으며, 코퍼스에서 효과적인 학습이 이루어졌음을 보여준다.
• 결과적으로 스토리 기반 코퍼스는 가치 정렬을 위한 강력하고 재사용 가능한 전제로 기능할 수 있으며, 고비용의 시연에 의존도를 줄일 수 있음을 시사한다.
• 이 연구는 학습된 규범의 문화적 특수성을 드러내며, G&G 코퍼스가 미국 사회적 가치를 반영하고 있음을 시사한다. 이는 다른 문화권의 유사한 데이터셋을 활용해 문화적으로 적절한 전제를 훈련시킬 수 있음을 시사한다.