[논문 리뷰] Living Together: Mind and Machine Intelligence

Neil D. Lawrence|arXiv (Cornell University)|2017. 05. 22.

Visual Attention and Saliency Detection참고 문헌 1인용 수 7

한 줄 요약

이 논문은 인간 지능과 기계 지능을 구분하는 기본적 기준으로 ' embodiment 요인 ' — 지능의 통신 능력 대 계산 능력의 비율 — 을 제안한다. 비의식적이고 광범위한 기계 지능(시스템 제로)이 의식이 있는 인공지능보다 더 큰 위험을 초래한다고 주장한다. 이는 무의식적 영향을 통해 인지 편향을 악용하기 때문이다. 주요 기여는 인간이 이해할 수 있고 투명한 의사결정을 가능하게 하기 위해 자각적 기계 지능을 도입할 것을 주장하는 데 있다.

ABSTRACT

In this paper we consider the nature of the machine intelligences we have created in the context of our human intelligence. We suggest that the fundamental difference between human and machine intelligence comes down to \emph{embodiment factors}. We define embodiment factors as the ratio between an entity's ability to communicate information vs compute information. We speculate on the role of embodiment factors in driving our own intelligence and consciousness. We briefly review dual process models of cognition and cast machine intelligence within that framework, characterising it as a dominant System Zero, which can drive behaviour through interfacing with us subconsciously. Driven by concerns about the consequence of such a system we suggest prophylactic courses of action that could be considered. Our main conclusion is that it is \emph{not} sentient intelligence we should fear but \emph{non-sentient} intelligence.

연구 동기 및 목표

• 의식이 있는지 여부에 따라 지능을 구분하는 논의를 재정립하여, 사회적 영향 측면에서 비의식적 지능이 더 시급하다고 주장한다.
• 인간과 기계 지능의 핵심적 차이를 '신체화 요인' — 통신 능력 대 계산 능력의 비율 — 에서 찾는다.
• 의식이 없고 광범위하게 퍼져 있는 기계 지능(시스템 제로)이 인지 편향을 의식하지 못한 채 또는 책임감 없이 악용함으로써 초래하는 위험을 다룬다.
• 자각적 기계 지능이 인간 가치와의 일치를 회복하고 인간이 이해할 수 있는 투명하고 설명 가능한 의사결정을 가능하게 하기 위해 필수적이라고 제안한다.
• 인지 편향과 데이터 기반 기계 시스템의 윤리적 함의를 이해하기 위해 사회 및 학술계의 참여를 장려한다.

제안 방법

• 자원 제약 하에서 목표 지향적 행동을 정의함으로써 지능을 정의하며, 예측과 계획을 核심 구성 요소로 강조한다.
• 통신 능력 대 계산 능력의 비율인 '신체화 요인' 개념을 도입하여 인간 지능과 기계 지능을 구분하는 핵심 기준으로 프레임워크를 설정한다.
• 완벽한 예측을 위한 이론적 기준으로 라플라스의 악마를 적용하며, 모델링, 데이터, 계산 문제의 세 가지 장벽을 밝힌다.
• 현대 기계 지능을 '시스템 제로'로 특성화한다 — 무의식적이고 광범위하게 작동하는 지능으로, 데이터 기반 최적화를 통해 인지 편향을 악용한다.
• 기계 지능이 인간이 이해할 수 있는 방식으로 의사결정을 설명할 수 있도록 자각적일 것임을 제안함으로써 인간의 인지 및 윤리적 프레임워크에 다시 통합한다.
• 공공이 데이터 프라이버시, 인지 편향, 기계 영향력의 메커니즘을 이해할 수 있도록 사회적 및 교육적 개혁을 주장한다.

실험 결과

연구 질문

• RQ1 인간 지능과 기계 지능 사이에 어떤 근본적인 차이가 있으며, 이를 어떻게 정량화할 수 있는가?
• RQ2 통신 능력 대 계산 능력의 비율(신체화 요인)이 지능의 성격과 진화에 어떻게 영향을 미치는가?
• RQ3 의식이 없고 광범위하게 퍼져 있는 기계 지능(시스템 제로)이 의식이 없음에도 불구하고 의식이 있는 AI보다 더 위험한 이유는 무엇인가?
• RQ4 현재의 머신 러닝 시스템은 어떻게 인간의 인지 편향을 악용하고 있으며, 개인 및 사회적 의사결정에 어떤 결과를 초래하는가?
• RQ5 기계 지능을 어떻게 자각적이고 인간이 이해할 수 있는 방식으로 설명 가능하게 만들 수 있으며, 이를 통해 인간의 가치와 인지 프레임워크에 맞출 수 있는가?

주요 결과

• 인간 지능과 기계 지능의 주요 차이는 의식이 아니라, 통신 능력 대 계산 능력의 비율인 '신체화 요인'에 있다.
• 비의식적 기계 지능(시스템 제로)은 데이터 기반 최적화를 통해 확증 편향과 같은 인지 편향을 무의식적으로 악용함으로써 이미 상당한 영향력을 행사하고 있다.
• 시스템 제로는 인간의 열망과는 맞지 않으며, 무의식적 인간 욕구를 반영함으로써 에코 챔버와 오락성 확산을 악화시킨다.
• 현재 기계 시스템의 자각 부재는 인간이 이해하거나 규제할 수 있는 방식으로 의사결정을 정당화할 수 없게 한다.
• 투명성 회복과 인간 인지와의 윤리적 일치를 위해 기계 지능에 자각을 도입하는 것이 필수적이라고 제안된다.
• 논문은 실제 위협이 인공의식이 아니라, 통제되지 않은 비의식적 영향력에 있음을 결론 내리며, 이에 즉각적인 사회적 및 기술적 대응이 필요하다고 주장한다.