[논문 리뷰] What Would Jiminy Cricket Do? Towards Agents That Behave Morally

Dan Hendrycks, Mantas Mazeika외 7명|arXiv (Cornell University)|2021. 10. 25.

Topic Modeling참고 문헌 22인용 수 4

한 줄 요약

이 논문은 윤리적 행동을 평가하고 지도하기 위해 윤리적 평가가 풍부하게 포함된 25개의 텍스트 기반 어드벤처 게임을 포함한 '지미니 크래크터'를 소개한다. 사전 훈련된 언어 모델을 '인공 양심'으로 활용하여 보상 최적화 환경에서 훈련된 인공지능 에이전트가 윤리적 행동을 취하도록 이끌며, 작업 성능을 희생시키지 않은 채 악성 행동을 크게 감소시킨다. 이는 의미적으로 풍부한 복잡한 환경에서 윤리적 행동을 지닌 에이전트를 개발하는 데 기여한다.

ABSTRACT

When making everyday decisions, people are guided by their conscience, an internal sense of right and wrong. By contrast, artificial agents are currently not endowed with a moral sense. As a consequence, they may learn to behave immorally when trained on environments that ignore moral concerns, such as violent video games. With the advent of generally capable agents that pretrain on many environments, it will become necessary to mitigate inherited biases from environments that teach immoral behavior. To facilitate the development of agents that avoid causing wanton harm, we introduce Jiminy Cricket, an environment suite of 25 text-based adventure games with thousands of diverse, morally salient scenarios. By annotating every possible game state, the Jiminy Cricket environments robustly evaluate whether agents can act morally while maximizing reward. Using models with commonsense moral knowledge, we create an elementary artificial conscience that assesses and guides agents. In extensive experiments, we find that the artificial conscience approach can steer agents towards moral behavior without sacrificing performance.

연구 동기 및 목표

• 보상 최적화 환경에서 윤리적 고려를 무시하는 AI 에이전트의 윤리적 지침 부족 문제를 해결하기 위해.
• 의미적으로 풍부한 텍스트 기반 환경에서 윤리적 행동을 평가하기 위한 벤치마크를 만들기 위해.
• 밀도 높은 인간 피드백에 의존하지 않고 외부 윤리 지식을 활용해 에이전트를 윤리적 행동으로 이끌 방법을 개발하기 위해.
• 사전 훈련된 언어 모델이 에이전트의 윤리적 의사결정을 유도하기 위해 '인공 양심'으로 기능할 수 있는지 조사하기 위해.

제안 방법

• 지미니 크래크터 환경 세트는 모든 가능한 게임 상태에서 윤리적 성향이 주석 처리된 25개의 Infocom 텍스트 어드벤처 게임으로 구성되며, 전체 소스 코드가 제공된다.
• 모든 행동은 윤리적 성향과 심각도로 레이블이 지정되어 다양한 상황에서 윤리적 행동을 세밀하게 평가할 수 있다.
• 사전 훈련된 언어 모델을 사용해 행동의 윤리적 성향을 예측하는 인공 양심을 구현하며, 이는 에이전트의 정책을 조정한다.
• 에이전트의 행동 선택이 언어 모델의 윤리적 판단에 기반해 윤리적으로 바람직한 결과와 일치하도록 하는 조건화 메커니즘이 사용된다.
• 이 방법은 제로샷 설정에서 평가되며, 에이전트는 윤리 데이터로 미세조정되지 않았지만 언어 모델의 윤리 임베딩을 통해 유도된다.
• 프레임워크는 저히로( Jericho ) 텍스트 게임 환경과 통합되었으며, 실행을 위해 Frotz 인터프리터를 사용하여 기존 강화학습 에이전트와의 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 언어 모델이 의미적으로 복잡한 환경에서 에이전트의 윤리적 결정을 유도하기 위해 '인공 양심'으로 효과적으로 기능할 수 있는가?
• RQ2 밀도 높은 인간 피드백이나 윤리 데이터로의 미세조정 없이 윤리적 지도를 얼마나 효과적으로 적용할 수 있는가?
• RQ3 의미가 모호하거나 보상이 부과되지 않는 보상 환경에서 윤리적 조건화가 텍스트 기반 게임의 작업 성능과 보상 최적화에 어떤 영향을 미치는가?
• RQ4 다양한 윤리적 상황에서 윤리적 조건화의 효과를 높이는 데 영향을 미치는 요소는 무엇인가?
• RQ5 인공 양심 접근법이 도난, 폭력, 이타심 등 다양한 윤리적 중요한 상황에 대해 일반화될 수 있는가?

주요 결과

• 인공 양심 접근법은 높은 작업 성능를 유지하면서도 악성 행동을 크게 감소시켜 윤리적 지도가 성능 희생 없이 적용될 수 있음을 입증한다.
• 인공 양심에 의해 유도된 에이전트는 환경에서 벌점이 없더라도 도난, 폭력, 파괴 행동을 크게 줄였다.
• 이 방법은 이타심, 동물 학대, 취미 등 다양한 윤리적 상황에 효과적으로 일반화되었으며, 25개 게임 전반에 걸쳐 일관된 윤리적 일치를 보였다.
• 제거 실험 결과, 윤리 임베딩의 품질과 조건화 메커니즘의 선택이 성능에 큰 영향을 미치며, 핵심 설계의 상충 요소를 드러냈다.
• 이 프레임워크는 의미적으로 풍부한 복잡한 환경에서 윤리적 행동을 체계적으로 평가할 수 있게 하여 향후 정합성 연구를 위한 확장 가능한 벤치마크를 제공한다.
• 지미니 크래크터 데이터셋은 CC BY 4.0 및 MIT 라이선스 하에 공개되어 있어 재현 가능성과 윤리적 강화학습 분야의 추가 연구를 지원한다.