[논문 리뷰] Scenarios and Recommendations for Ethical Interpretive AI

John Licato, Zaid Marji외 1명|arXiv (Cornell University)|2019. 11. 05.

Explainable Artificial Intelligence (XAI)참고 문헌 18인용 수 4

한 줄 요약

이 논문은 인공지능에서 윤리적 해석 추론을 발전시키기 위해 윤리적 규칙, 해석적 시나리오, 그리고 인간이 생성한 해석을 담은 데이터셋을 소개한다. 이는 대립적 논거, 모호한 세부사항, 맥락에 따라 달라지는 추론과 같은 핵심 과제를 밝히며, 논거 기반 추론을 통해 인간과 유사한 윤리적 해석 능력을 갖춘 AI 시스템을 구축하기 위한 실질적인 권고 사항을 제시한다.

ABSTRACT

Artificially intelligent systems, given a set of non-trivial ethical rules to follow, will inevitably be faced with scenarios which call into question the scope of those rules. In such cases, human reasoners typically will engage in interpretive reasoning, where interpretive arguments are used to support or attack claims that some rule should be understood a certain way. Artificially intelligent reasoners, however, currently lack the ability to carry out human-like interpretive reasoning, and we argue that bridging this gulf is of tremendous importance to human-centered AI. In order to better understand how future artificial reasoners capable of human-like interpretive reasoning must be developed, we have collected a dataset of ethical rules, scenarios designed to invoke interpretive reasoning, and interpretations of those scenarios. We perform a qualitative analysis of our dataset, and summarize our findings in the form of practical recommendations.

연구 동기 및 목표

• 윤리적 규칙을 적용할 때 인공지능이 인간과 유사한 해석적 추론을 수행할 수 있는 능력에 대한 핵심적 격차를 해소하기 위해.
• 윤리적 규칙에 포함된 열린 텍스트 표현이 실제 상황에서 해석의 다원성을 초래하는 방식을 조사하기 위해.
• 해석적 시나리오에 대한 인간의 해석을 수집하고 분석하여 자동화된 해석적 추론 시스템 설계에 기여하기 위해.
• 해석적 추론을 방해하는 반복적인 과제, 예를 들어 대립적 논거나 관련이 없는 세부사항 등을 특정하기 위해.
• 윤리적 규칙에 대해 해석적 논거를 사용하여 추론할 수 있는 능력을 갖춘 인공지능 시스템을 개발하기 위한 실질적이고 근거 기반의 권고 사항을 제공하기 위해.

제안 방법

• 법, 의료, 소프트웨어 공학 등 다양한 분야에서 100개 이상의 윤리적 규칙, 시나리오 기술, 그리고 인간이 주석 처리한 해석을 수집한 데이터셋을 구축하였다.
• 맥락적으로 모호한 상황에 열린 텍스트 표현(예: '공공의 복리', '부족한 성격')을 통합하여 해석적 추론을 유도하는 시나리오를 설계하였다.
• 초기 해석, 근거 제시, 동료 평가의 세 단계 평가 절차를 통해 해석을 수집하여 공감대와 분열 정도를 평가하였다.
• 해석 패턴에 대한 정성적 분석을 수행하여 대립적 사고, 부족한 맥락, 논리적 모순과 같은 반복적인 주제를 특정하였다.
• 다음과 같은 형식으로 해석적 논거를 구성하였다: '만약 E가 D 상황에서 발생하고, 설정 S에서 E가 I를 통해 S에 부합한다면, E는 I로 해석되어야 한다.'
• 특히 의견 차이가 발생한 경우, 논거의 강도, 구조, 반론을 평가하기 위해 논거 이론적 분석을 사용하였다.

실험 결과

연구 질문

• RQ1 인간은 '공공의 복리'나 '부족한 성격'과 같은 열린 텍스트를 가진 윤리적 표현에서 모호성을 어떻게 해결하는가?
• RQ2 윤리적 추론에서 가장 흔한 해석적 논거의 유형은 무엇이며, 이러한 논거는 해석 결과에 어떤 영향을 미치는가?
• RQ3 대체로 비표준적이거나 공감대에 대비하여 의도적으로 반대하는 해석이 얼마나 자주 나타나며, 이러한 해석임을 나타내는 신호는 무엇인가?
• RQ4 부족하거나 관련이 없는 맥락적 세부사항은 해석적 추론의 통일성과 타당성에 어떤 영향을 미치는가?
• RQ5 자동화된 시스템이 인간 수준의 윤리적 추론을 달성하기 위해 해석적 논거의 어떤 구조적 및 인지적 특성을 재현해야 하는가?

주요 결과

• 대립적 해석이 빈번히 확인되었으며, 대부분 예상되는 해석에 대해 의도적으로 반대하는 경우였고, 이는 인공지능이 이러한 논거를 탐지하고 평가할 수 있어야 한다는 것을 시사한다.
• 논리적 결함이 아닌, 맥락 정보 부족이나 관련 없는 세부사항으로 인해 많은 해석이 무효화되었으며, 이는 강력한 맥락적 추론 능력이 필요하다는 점을 강조한다.
• 해석적 논거는 일반적으로 논거 이론적 특성, 예를 들어 근거 강도, 전제의 관련성, 반론 예측 능력 등에 기반하여 구성되었다.
• '교통을 방해하는' 또는 '공공의 복리'와 같은 열린 텍스트 표현에 대한 의견 차이는 규칙 적용만으로는 해결되지 않고, 해석적 논거 기반의 추론을 통해 해결되었다.
• 데이터셋은 규칙이 명확히 기재되어 있더라도, 특히 도덕적 또는 전문가 기준이 관련된 경우 해석이 크게 다름을 드러내었으며, 이는 논거 인식 기반 인공지능의 필요성을 강조한다.
• 데이터셋과 분석 결과, 자동화된 해석적 추론 시스템은 분류를 넘어서 논거 구조, 맥락, 청중 기대 등을 고려하여 추론해야 한다는 점을 입증한다.