[논문 리뷰] Reward Reports for Reinforcement Learning

Thomas Krendl Gilbert, Nathan Lambert외 3명|arXiv (Cornell University)|2022. 04. 22.

Data Stream Mining Techniques인용 수 5

한 줄 요약

이 논문은 강화학습 시스템을 위한 동적 문서화 프레임워크인 Reward Reports를 소개한다. 이 프레임워크는 시간이 지남에 따라 변화하는 설계 결정, 피드백 메커니즘, 사회적 영향을 추적한다. RL 원칙을 시스템 투명성에 적용함으로써, 메타의 블렌더봇 3와 같은 반복적이고 구동 중인 AI 시스템에서 지속적인 책임감과 윤리적 감시를 가능하게 한다.

ABSTRACT

Building systems that are good for society in the face of complex societal effects requires a dynamic approach. Recent approaches to machine learning (ML) documentation have demonstrated the promise of discursive frameworks for deliberation about these complexities. However, these developments have been grounded in a static ML paradigm, leaving the role of feedback and post-deployment performance unexamined. Meanwhile, recent work in reinforcement learning has shown that the effects of feedback and optimization objectives on system behavior can be wide-ranging and unpredictable. In this paper we sketch a framework for documenting deployed and iteratively updated learning systems, which we call Reward Reports. Taking inspiration from various contributions to the technical literature on reinforcement learning, we outline Reward Reports as living documents that track updates to design choices and assumptions behind what a particular automated system is optimizing for. They are intended to track dynamic phenomena arising from system deployment, rather than merely static properties of models or data. After presenting the elements of a Reward Report, we discuss a concrete example: Meta's BlenderBot 3 chatbot. Several others for game-playing (DeepMind's MuZero), content recommendation (MovieLens), and traffic control (Project Flow) are included in the appendix.

연구 동기 및 목표

• 정적 AI 문서화 방식(예: 모델 카드)이 구동 중인 강화학습 시스템의 동적이고 피드백 기반 행동을 포착하는 데 한계가 있음을 해결한다.
• 지속적인 업데이트와 이해관계자 피드백을 통해 진화하는 현실 세계의 복잡한 AI 시스템에 대응한다.
• 최적화 목표, 피드백 유형, 이해관계자 가정의 변화를 시간에 따라 기록하는 살아있는 문서화 메커니즘을 제공한다.
• 시스템 행동 변화의 이유와 방식을 체계적으로 추적함으로써 내부 시스템 분석과 외부 감시를 지원한다.
• 장기적인 사용자 상호작용과 피드백 루프가 있는 시스템에서 사회적 영향에 대한 반성적이고 반복적인 고민을 가능하게 한다.

제안 방법

• 구동 중인 RL 시스템과 함께 진화하는 살아있는 문서인 Reward Reports를 제안하여 보상 함수, 피드백 원천, 설계 가정의 변화를 추적한다.
• 시스템 행동, 최적화 목표, 피드백 역학을 문서화의 핵심으로 삼기 위해 강화학습을 개념적 시각으로 활용한다.
• 역사적 데이터, 사용자 피드백, 실시간 배포 신호 등 다양한 피드백 유형을 통합된 보고서 구조에 통합한다.
• 주요 구성 요소인 성능 지표, 재학습 빈도, 장애 임계값, 시스템 거버넌스에서의 이해관계자 역할을 중심으로 Reward Reports를 구성한다.
• 블렌더봇 3, 무자로, 무비렌즈, 프로젝트 플로우와 같은 실제 시스템에 프레임워크를 적용하여 실용적 적용 가능성을 입증한다.
• 정적 모델 또는 데이터 보고서가 아닌, 맥락에 민감한 피드백 상호작용의 질적 평가를 강조한다.

실험 결과

연구 질문

• RQ1 어떻게 문서화가 구동 중인 강화학습 시스템의 동적이고 피드백 기반 진화를 따라갈 수 있는가?
• RQ2 장기적인 책임감과 윤리적 감시를 확보하기 위해 시스템 설계와 피드백에서 어떤 특정 구성 요소를 문서화해야 하는가?
• RQ3 다양한 피드백 유형(예: 사용자, 역사적, 실시간)은 시간이 지남에 따라 어떻게 상호작용하고 시스템 행동에 영향을 미치는가?
• RQ4 기존의 문서화 방식(예: 모델 카드)은 왜 구동 중인 RL 시스템의 사회적 및 운영적 복잡성을 포착하지 못하는가?
• RQ5 표준화된 살아있는 문서화 프레임워크는 내부 시스템 이해와 외부 규제 또는 감시 노력 모두를 향상시킬 수 있는가?

주요 결과

• Reward Reports는 보상 함수, 피드백 메커니즘, 이해관계자 가정의 변화를 시간에 따라 기록하는 살아있는 진화적 문서화 프레임워크를 제공한다.
• 이 프레임워크는 정적 문서화 방식(예: 모델 카드)이 지속적인 업데이트와 피드백 루프가 있는 시스템, 특히 블렌더봇 3와 같은 대화 에이전트에 대해서는 부적합하다는 것을 드러낸다.
• 블렌더봇 3에 대한 Reward Report는 재학습 빈도, 성능 지표(예: 대화 길이, 감성 비율), 시스템 정지를 유도하는 장애 임계값과 관련된 핵심 질문을 드러냈다.
• 디자이너, 사용자, 규제 기관과 같은 이해관계자 역할은 시스템 행동과 책임 경로를 형성하므로 문서화에 필수적임이 확인되었다.
• 이 프레임워크는 사용자 감성이나 채팅 기록이 즉각적인 출력을 넘어서 하류 시스템 행동에 영향을 미칠 수 있는 의도하지 않은 피드백 상호작용에 대한 깊이 있는 통찰을 가능하게 한다.
• Reward Reports는 행동에 자동으로 측정 가능한 결과가 존재하는 데이터 기반, 최적화 기반 시스템(예: 추천, 게임 플레이, 교통 제어 시스템)에서 가장 효과적이다.