[논문 리뷰] The Role of Normware in Trustworthy and Explainable AI

Giovanni Sileno, Alexander Boer외 1명|arXiv (Cornell University)|2018. 12. 06.

Ethics and Social Impacts of AI참고 문헌 6인용 수 8

한 줄 요약

이 논문은 신뢰할 수 있고 설명 가능한 인공지능을 구축하기 위한 핵심적이고 생태학적으로 통합된 구성 요소로 '노멀웨어'(normware)—규범을 특정하는 계산 자료—를 도입한다. 규범적 제약 조건을 결정 과정에 직접 통합함으로써, 노멀웨어는 의도하지 않은 결과를 점검하고 윤리 기준과 일치시키며 설명 가능한 정당화를 생성할 수 있게 하여 소프트웨어와 하드웨어를 초월하는 새로운 아키텍처 계층을 제공한다.

ABSTRACT

For being potentially destructive, in practice incomprehensible and for the most unintelligible, contemporary technology is setting high challenges on our society. New conception methods are urgently required. Reorganizing ideas and discussions presented in AI and related fields, this position paper aims to highlight the importance of normware--that is, computational artifacts specifying norms--with respect to these issues, and argues for its irreducibility with respect to software by making explicit its neglected ecological dimension in the decision-making cycle.

연구 동기 및 목표

• 자율적이고 인간 상호작용이 이루어지는 환경에서 발생하는 의도하지 않은, 윤리적으로 바람직하지 않거나 투명하지 않은 결과에 대한 우려가 증가하고 있는 데 대응하기 위해.
• 현재의 인공지능 개발이 명시적으로 규범과 윤리적 제약 조건을 코딩하는 전용 계산 계층—노멀웨어—의 필요성을 간과하고 있다는 점을 주장하기 위해.
• 노멀웨어를 시스템 행동을 지시하지만 완전히 제어하지는 않는 불가분의, 생태학적으로 통합된 구성 요소로 위치지어지기 위해.
• 노멀웨어가 동적이고 맥락 민감한 결정 검증 기능을 수행함으로써 신뢰도와 설명 가능성의 향상을 이끄는 새로운 아키텍처 패러다임을 제안하기 위해.
• 노멀리티의 윤리, 법적 규범, 기술적 구현 간 격차를 메우기 위해 규범적 사고를 시스템 설계에 기반화함으로써 AI 윤리, 법적 규범, 기술적 실행 간의 다리를 놓기 위해.

제안 방법

• 결정 과정 주기 내에서 검사 및 균형 기제로 기능하는 별개의 계산 자료로서 규범을 특정하는 노멀웨어를 제안한다.
• 노멀웨어 구성 요소가 소프트웨어, 시뮬레이터, 사용자 인터페이스와 상호작용하는 다층 아키텍처를 도입한다.
• 고수준의 규범(예: 생태학적 지속 가능성, 공정성)에 따라 계획을 평가하는 '전략적 드라이버' 메커니즘을 사용하여 비준수 옵션을 거부한다.
• 중립성 제약 조건을 충족하는 훈련 데이터를 생성하기 위해 '두 번째 순서의 오라클'을 활용하여 기계 학습 모델의 통계적 편향을 감소시킨다.
• 예측 모듈과 정당화 모듈 간의 일치 체크를 적용하여 설명이 전문 지식 모델과 호환됨을 보장한다.
• 노멀웨어를 다른 시스템 구성 요소와 생태학적으로 공존하는 것으로 모델링하며, 규범 체계의 지식론적 다원성과 법적 다원성과의 유사성을 제시한다.

실험 결과

연구 질문

• RQ1 어떻게 규범을 형식적으로 계산 자료로 코딩하여 자율 인공지능 결정을 해석 가능하고 강제 가능한 방식으로 이끌 수 있는가?
• RQ2 인간 감시가 감소할 경우, 노멀웨어는 인공지능 시스템에서 의도하지 않은 결과를 방지하는 데 어떤 아키텍처적 역할을 하는가?
• RQ3 노멀웨어는 어떻게 설명 가능성 지원을 통해 전문가나 사회적 지식과 일치하는 정당화를 생성할 수 있는가?
• RQ4 노멀웨어는 기존 소프트웨어와 하드웨어와 어떻게 다름과 동시에 기존 추상화 계층으로 환원될 수 없는가?
• RQ5 노멀웨어는 비기호적 인공지능 시스템(예: 딥 러닝)에 구현될 수 있으며, 이러한 구성 요소와 어떻게 인터페이스를 연결할 수 있는가?

주요 결과

• 노멀웨어는 소프트웨어를 보완하는 데 필수적인 생태학적으로 통합된 계층으로, 결정 과정에 직접적으로 규범적 제약 조건을 통합한다.
• 노멀웨어의 통합은 예를 들어 시뮬레이션 환경에서 생태학적으로 해로운 계획을 거부하는 전략적 점검을 통해 의도하지 않은 결과의 사전 탐지 기능을 가능하게 한다.
• 두 번째 순서의 오라클을 사용하여 중립성 제약 조건을 충족하는 훈련 데이터를 생성할 수 있으며, 이는 모델의 통계적 편향을 감소시킨다.
• 예측 모듈과 정당화 모듈을 분리함으로써 설명 가능성은 향상되며, 정당화 구성 요소가 전문 지식 모델과의 호환성을 검증한다.
• 노멀웨어는 논리적 동치성에 의해가 아니라 특정 입력 맥락에서의 功能적 호환성에 의해 온톨로지적 일치를 지원함으로써 다양한 분야에서의 유연성을 제공한다.
• 비기호적 인공지능 시스템에서도 노멀웨어는 기호적 인터페이스를 통해 작동할 수 있으며, 규범은 언어와 구조화된 표현 방식을 통해 통신되고 해석된다.