[논문 리뷰] Can Society Function Without Ethical Agents? An Informational Perspective

Bruno Strulovici|arXiv (Cornell University)|2020. 03. 11.

Game Theory and Applications참고 문헌 16인용 수 8

한 줄 요약

이 논문은 정보를 검증하는 데 비용이 들고 조작 가능성이 있는 상황에서, 윤리적 동기가 없는 중개자(에이전트)를 통해 사회가 정확한 집단 학습을 달성할 수 있는지 조사한다. 순차적 증거 축적의 정보 모델을 사용하여, 증거의 지속성(정보 소실) 수준이 임계값에 도달하지 못하면 정보성 소통이 붕괴됨을 보여주며, 이는 취약한 정보 환경에서 신뢰할 수 있는 중개 학습을 위해 윤리적 에이전트가 필수적임을 시사한다.

ABSTRACT

Many facts are learned through the intermediation of individuals with special access to information, such as law enforcement officers, officials with a security clearance, or experts with specific knowledge. This paper considers whether societies can learn about such facts when information is cheap to manipulate, produced sequentially, and these individuals are devoid of ethical motive. The answer depends on an "information attrition" condition pertaining to the amount of evidence available which distinguishes, for example, between reproducible scientific evidence and the evidence generated in a crime. Applications to institution enforcement, social cohesion, scientific progress, and historical revisionism are discussed.

연구 동기 및 목표

• 중개자(공중이 사실을 배우는 데 의존)를 통해 이루어지는 학습이 윤리적 동기가 없는 상황에서도 성공할 수 있는지 판단하기 위해.
• 조작 가능성이 있는 증거가 존재하는 순차적 정보 환경에서 진실된 소통이 나타나는 조건을 분석하기 위해.
• 윤리적 동기가 없을 때도 지속 가능한 진실된 신호 전파가 가능한지 여부를 결정하는 핵심 요소로 '정보 소실' 개념을 수리적으로 정의하기 위해.
• 이 틀이 과학적 정직성, 제도적 집행, 역사적 정확성, 사회적 유대감에 끼치는 영향을 평가하기 위해.
• 에이전트가 비윤리적이며 단지 인센티브에만 따라 움직일 때도 정보성 균형이 존재하는 형식적 조건을 설정하기 위해.

제안 방법

• 사람(예: 조사원, 증인)들이 사실에 대해 비공개 신호를 수신하고 대중에게 메시지를 전송하는 순차적 정보 환경을 모델링한다.
• 증거가 시간이 지남에 따라 줄어들거나 확인 불가능해지는 속도를 측정하는 '정보 소실' 개념을 도입한다. 이는 증거의 생존 확률로 기술된다.
• 에이전트가 이전의 신호와 메시지 내용을 바탕으로 증거 강도에 대한 신뢰도를 갱신하는 순환적 구조를 사용하여 신뢰도의 진화를 모델링한다.
• 게임 이론적 균형 분석을 적용하여, 향후 증거의 확률(F)이 임계값을 초과해야만 정보성 메시지가 지속 가능하다는 것을 보여준다.
• 신호 수(k)에 대한 귀납법을 사용하여, 정보성 균형이 각 단계에서 최소한의 증거 지속성 수준을 요구한다는 것을 증명한다.
• 수축 사상(contraction mapping) 원리를 도출하여, F가 충분히 낮을 경우 메시지 확률이 0이 되어야 하며, 이는 진실된 소통의 붕괴를 의미한다.

실험 결과

연구 질문

• RQ1 비윤리적 중개자가 존재하는 순차적, 증거 기반 학습 환경에서 진실된 정보가 전달될 수 있는 조건은 무엇인가?
• RQ2 증거의 지속성(정보 소실)은 중개 학습에서 정보성 균형의 지속 가능성에 어떤 영향을 미치는가?
• RQ3 핵심 에이전트가 윤리적 동기를 갖지 않고 단지 인센티브에 따라 움직일 경우, 제도적 또는 과학적 과정이 신뢰성 있게 기능할 수 있는가?
• RQ4 예를 들어 증인, 시험 등 순차적 신호의 수가 비윤리적 에이전트가 존재할 때 진실된 소통을 유지하는 데 어떤 역할을 하는가?
• RQ5 증거 지속성의 임계 수준 이하에서는 어떤 인센티브가 있더라도 진실된 신호 전파가 불가능한가?

주요 결과

• 향후 증거의 확률(F)이 임계값 $\hat{F}^1 > 0$ 이하로 떨어지면 정보성 균형이 불가능하며, 이는 증거가 지속되지 않으면 진실된 소통이 붕괴됨을 의미한다.
• 모든 F ≤ $\hat{F}^1$ 에 대해, 메시지 확률은 임의의 인센티브 구조와 관계없이 0이 되며, 이는 메시지 확률 함수에 대한 수축 사상 원리에 기반한다.
• 정보성 균형 존재 여부는 다수 단계에서의 증거 지속성의 곱에 따라 달라진다. k+1개의 신호에 대해, 임계값 $\hat{F}^{k+1}$ 은 곱 $\hat{F}^k \cdot \hat{F}^1$ 으로 제한되며, 이는 진실된 신호 전파 가능성이 지수적으로 감소함을 보여준다.
• 모델은 심지어 강력한 인센티브가 존재하더라도 증거가 너무 취약하거나 쉽게 소실될 경우 진실된 소통이 실패함을 보여주며, 이는 정보의 무결성을 유지하기 위해 윤리적 에이전트가 필수적임을 강조한다.
• 결과적으로 과학, 법, 역사 등 사실이 순차적 검증에 의존하는 분야에서는 비윤리적 에이전트가 충분한 증거 지속성이 확보되지 않으면 신뢰할 수 있는 지식 전파를 유지할 수 없다는 것을 의미한다.
• 이 논문은 정보 소실과 중개 학습 가능성을 형식적으로 연결하며, 윤리적 동기가 단지 도덕적 이상이 아니라 취약한 정보 환경에서의 구조적 필수 조건임을 보여준다.