[논문 리뷰] Recognising the importance of preference change: A call for a coordinated multidisciplinary research effort in the age of AI

Matija Franklin, Hal Ashton외 2명|arXiv (Cornell University)|2022. 03. 20.

Decision-Making and Behavioral Economics인용 수 8

한 줄 요약

이 논문은 행동 수정을 통해 인공지능 시스템이 선호도 변화를 유도하는 방식을 연구하기 위해 새로운 다학제적 분야인 '선호도 과학(Preference Science)'을 설립할 것을 요청한다. 선호도 진화를 모델링하기 위해 선택 구조, 능력, 행동을 연결하는 프레임워크를 제안하며, 허용 가능한 변화와 조작 사이의 윤리적 경계를 강조한다.

ABSTRACT

As artificial intelligence becomes more powerful and a ubiquitous presence in daily life, it is imperative to understand and manage the impact of AI systems on our lives and decisions. Modern ML systems often change user behavior (e.g. personalized recommender systems learn user preferences to deliver recommendations that change online behavior). An externality of behavior change is preference change. This article argues for the establishment of a multidisciplinary endeavor focused on understanding how AI systems change preference: Preference Science. We operationalize preference to incorporate concepts from various disciplines, outlining the importance of meta-preferences and preference-change preferences, and proposing a preliminary framework for how preferences change. We draw a distinction between preference change, permissible preference change, and outright preference manipulation. A diversity of disciplines contribute unique insights to this framework.

연구 동기 및 목표

• 행동 변화를 통해 인간의 선호도를 변화시키는 인공지능 시스템이 초래하는 윤리적 및 사회적 위험을 해결한다.
• 인공지능과 기계학습의 맥락에서 선호도 변화를 연구하기 위해 통합적이고 다학제적인 연구 분야인 '선호도 과학'을 정립한다.
• 전통적인 경제 모델을 넘어서 의식적, 무의식적, 자동적인 정서적 과정까지 포함하여 선호도를 실천 가능하게 한다.
• 특히 인공지능 기반 환경에서 선호도 변화, 허용 가능한 변화, 조작적 변화를 구분한다.
• 인공지능 시스템에서 허용 가능한 선호도 조작과 악용 가능한 선호도 조작을 구분할 수 있는 윤리적 및 법적 프레임워크를 개발한다.

제안 방법

• 선호도를 명시적, 의식적, 반성적인 과정뿐 아니라 암묵적, 무의식적, 자동적인 정서 상태로 넓게 정의한다. 이러한 상태들은 좋아함 또는 싫어함을 생성한다.
• 경제학(노출된 선호도 및 서술된 선호도), 심리학(좋음/싫음 평가), 행동과학(행동 통찰 및 선택 구조)의 개념을 통합한다.
• 메타-선호도(미래의 선호도에 대한 선호도)와 선호도 변화 선호도(선호도가 어떻게 형성되는지에 대한 선호도)를 도입한다.
• 선택 구조의 변화가 능력과 행동에 영향을 주고, 그로 인해 선호도 변화로 이어지는 동적 프레임워크를 제안한다.
• COM-B 및 행동과학 모델을 사용하여 환경 설계에서 선호도 진화에 이르는 인과적 경로를 매핑한다.
• 환경, 능력, 행동의 통제된 변화가 선호도에 어떤 영향을 미치는지 테스트하기 위해 선호도를 주된 종속 변수로 삼는 경험적 및 시뮬레이션 연구를 지지한다.

실험 결과

연구 질문

• RQ1 인공지능 기반 행동 변화 기법은 사용자 선호도 변화를 유도하는 데 어떤 방식으로 작용하며, 단지 행동에 영향을 주는 것과 어떻게 다를까?
• RQ2 인공지능 시스템에서 허용 가능한 선호도 변화와 조작적 선호도 조작을 어떻게 구분할 수 있는가?
• RQ3 메타-선호도와 선호도 형성 방식에 대한 선호도는 인간-인공지능 상호작용에서 어떻게 형식화되고 측정될 수 있는가?
• RQ4 선택 구조와 환경 설계는 선호도의 발생과 진화에 어떤 방식으로 영향을 미치는가?
• RQ5 인공지능 응용 분야에서 허용 가능한 변화와 악용 가능한 변화를 정의하기 위한 윤리적 및 법적 기준은 무엇이어야 하는가?

주요 결과

• 기계학습을 통해 개인화된 추천을 제공하는 인공지능 시스템은 사용자 행동에 영향을 주는 것 외에도 지속적인 사용자 선호도 변화를 유도한다.
• 선호도 변화는 행동 수정의 외부화된 결과이지만, 현재의 인공지능 정렬 및 윤리적 프레임워크에서는 종종 간과된다.
• 기존의 경제학적 선호도 모델(예: 노출된 선호도)은 무의식적, 자동적, 변화하는 욕구 과정을 간과하기 때문에 부적절하다.
• 메타-선호도와 선호도 형성 방식에 대한 선호도는 장기적인 선호도 안정성과 윤리적 설계를 이해하는 데 핵심적이다.
• 선택 구조는 행동의 기회와 인지 능력을 동시에 변화시킴으로써 선호도 진화에 중대한 영향을 미친다.
• 선호도 변화를 윤리적으로 규율하기 위해 통합적이고 다학제적인 연구 노력—선호도 과학—이 필수적이다.