[논문 리뷰] Open Problems in Cooperative AI

Allan Dafoe, Edward Hughes외 6명|arXiv (Cornell University)|2020. 12. 15.

Evolutionary Game Theory and Cooperation참고 문헌 322인용 수 17

한 줄 요약

이 논문은 인간과 다른 에이전트와 효과적으로 협력할 수 있도록 인공지능 시스템에 필수 역량을 부여하는 데 초점을 맞춘 새로운 연구 분야인 협동형 AI를 제안한다. 이해, 소통, 약속, 제도라는 핵심 협동 역량을 제시하면서도 다학제적 통합과 강압 및 배제와 같은 위험 요소의 완화를 강조한다.

ABSTRACT

Problems of cooperation--in which agents seek ways to jointly improve their welfare--are ubiquitous and important. They can be found at scales ranging from our daily routines--such as driving on highways, scheduling meetings, and working collaboratively--to our global challenges--such as peace, commerce, and pandemic preparedness. Arguably, the success of the human species is rooted in our ability to cooperate. Since machines powered by artificial intelligence are playing an ever greater role in our lives, it will be important to equip them with the capabilities necessary to cooperate and to foster cooperation. We see an opportunity for the field of artificial intelligence to explicitly focus effort on this class of problems, which we term Cooperative AI. The objective of this research would be to study the many aspects of the problems of cooperation and to innovate in AI to contribute to solving these problems. Central goals include building machine agents with the capabilities needed for cooperation, building tools to foster cooperation in populations of (machine and/or human) agents, and otherwise conducting AI research for insight relevant to problems of cooperation. This research integrates ongoing work on multi-agent systems, game theory and social choice, human-machine interaction and alignment, natural-language processing, and the construction of social tools and platforms. However, Cooperative AI is not the union of these existing areas, but rather an independent bet about the productivity of specific kinds of conversations that involve these and other areas. We see opportunity to more explicitly focus on the problem of cooperation, to construct unified theory and vocabulary, and to build bridges with adjacent communities working on cooperation, including in the natural, social, and behavioural sciences.

연구 동기 및 목표

• 실세계 환경에서 인간과 다른 에이전트와 효과적으로 협력할 수 있도록 AI 시스템의 필요성을 충족시키기 위해.
• 협동을 위해 필수적인 핵심 역량, 예를 들어 이해, 소통, 약속, 제도 설계 등을 식별하고 체계화하기 위해.
• 협동 문제에 대한 통합된 이론적 및 어휘적 프레임워크를 구축함으로써 AI 연구와 사회과학 간 다리를 놓기 위해.
• 협동형 AI의 잠재적 위험 요소, 예를 들어 배제, 공모, 강압 등을 연구하고 인간 복지를 향한 개발 방향을 안내하기 위해.
• 스케일러블 협동 솔루션을 위한 AI, 게임 이론, 사회선택 이론, 인간-컴퓨터 상호작용 간의 다학제적 협력을 촉진하기 위해.

제안 방법

• 전략적 맥락, 공통 이익 대 갈등 이익, 개인적 시각 대 계획자 시각 등의 차원을 기반으로 협동 기회를 분류하기 위해.
• 협동 역량을 네 가지 핵심 구성요소로 체계화하기 위해: 이해(세계, 행동, 선호도, 순환적 믿음에 대한 이해), 소통(공통 기초, 대역폭, 교육, 혼합 동기), 약속(단일 또는 다자적, 조건부 또는 무조건적), 제도(분산형 규범, 중심화된 시스템, 신뢰 메커니즘).
• 협동 역량이 필수적이고 학습 가능하며 비트ivial한 학습 환경과 과제를 개발하기 위한 제안.
• 다중에이전트 시스템, 게임 이론, 메커니즘 설계, 자연어 처리, 설명 가능성 기법의 통합을 통해 협동형 AI 시스템을 구축하기 위해.
• 선호도 학습 및 정렬 기법을 통해 인간의 가치와 윤리적 기준을 협동형 AI에 통합하기 위해.
• 신뢰도 시스템과 조정 알고리즘을 포함한 도구 및 플랫폼을 설계하여 인간과 기계 에이전트의 집단적 협동을 지원하기 위해.

실험 결과

연구 질문

• RQ1 협동 환경에서 다른 에이전트의 믿음, 선호도, 행동을 이해할 수 있도록 AI 에이전트를 어떻게 설계할 수 있는가?
• RQ2 혼합 동기 조건 하에서 효율적이고 견고하며 공정한 협동을 가능하게 하는 소통 메커니즘은 무엇인가?
• RQ3 장기적 조율을 지원하는 데 가장 효과적인 협동 약속 형태는 무엇인가? (단일, 다자, 조건부, 하드웨어 내장형)
• RQ4 AI와 인간 에이전트 간의 확장 가능한 분산형 협동을 지원하기 위해 제도와 규범은 어떻게 설계되어야 하는가?
• RQ5 협동형 AI 역량의 잠재적 위험 요소, 예를 들어 배제나 강압는 무엇이며, 기술적 및 제도적 설계를 통해 어떻게 완화할 수 있는가?

주요 결과

• 협동형 AI는 기존 AI 하위 분야의 단순 통합이 아니라, 집중적이고 다학제적인 논의가 필요한 독립된 연구 의제이다.
• 논문은 협동형 AI 시스템을 구축하는 데 필수적인 네 가지 핵심 역량—이해, 소통, 약속, 제도—를 식별했다.
• AI에서 효과적인 협동을 실현하기 위해서는 게임 이론, 사회선택 이론, 다중에이전트 시스템, 인간-컴퓨터 상호작용의 통합적 통찰이 필요하다.
• 높은 자율성을 가진 시스템에서 특히, 공모, 강압, 배제와 같은 위험 요소에 대한 고려가 협동형 AI 개발에 포함되어야 한다.
• 기계 학습에서 협동 역량이 필수적이면서도 학습 가능하도록 설계된 훈련 환경과 과제가 필요하며, 이는 확장 가능한 협동을 가능하게 한다.
• 이 연구 의제는 AI 연구를 협동에 관한 광범위한 과학적 및 사회적 노력과 연결하기 위한 통합 이론과 공통 어휘를 요구한다.