[논문 리뷰] Hows and Whys of Artificial Intelligence for Public Sector Decisions: Explanation and Evaluation

Alun Preece, Rob Ashelford외 2명|arXiv (Cornell University)|2018. 09. 28.

Explainable Artificial Intelligence (XAI)참고 문헌 15인용 수 4

한 줄 요약

이 논문은 인간-AI 결정보조 과정을 모델링하고, 사명, 데이터, 작업, 근거 중심의 네 가지 전략을 통해 공공부문 의사결정에서의 AI/ML 시스템 평가 및 설명 가능성을 평가하는 프레임워크를 제안한다. 조직의 성과와 인간-기계 협업과의 일치가 신뢰성, 책임성 및 영향력 향상에 기여함을 입증하며, 공공부문에서의 도입을 위한 실천 가능한 길을 제시한다.

ABSTRACT

Evaluation has always been a key challenge in the development of artificial intelligence (AI) based software, due to the technical complexity of the software artifact and, often, its embedding in complex sociotechnical processes. Recent advances in machine learning (ML) enabled by deep neural networks has exacerbated the challenge of evaluating such software due to the opaque nature of these ML-based artifacts. A key related issue is the (in)ability of such systems to generate useful explanations of their outputs, and we argue that the explanation and evaluation problems are closely linked. The paper models the elements of a ML-based AI system in the context of public sector decision (PSD) applications involving both artificial and human intelligence, and maps these elements against issues in both evaluation and explanation, showing how the two are related. We consider a number of common PSD application patterns in the light of our model, and identify a set of key issues connected to explanation and evaluation in each case. Finally, we propose multiple strategies to promote wider adoption of AI/ML technologies in PSD, where each is distinguished by a focus on different elements of our model, allowing PSD policy makers to adopt an approach that best fits their context and concerns.

연구 동기 및 목표

• 기술적 복잡성과 사회기술적 통합으로 인해 검증 및 검증이 복잡해지는 공공부문 의사결정(PSD)에서 AI 시스템 평가의 지속적 과제를 해결하기 위해.
• 딥 러닝 모델의 투명성 부족에 비추어 볼 때, 설명과 평가 간의 상호의존성을 명확히 하기 위해.
• 핵심 실패점과 설명 및 평가의 기회를 특정하는 인간-AI 결정보조 과정의 체계적 모델을 개발하기 위해.
• 조직의 특정 우선순위와 제약 조건에 따라 공공부문 기관이 AI를 도입할 수 있도록 사명 중심, 데이터 중심, 작업 중심, 근거 중심의 네 가지 구체적 전략을 제안하기 위해.
• 모델 정확도를 넘어서 실제 영향력을 기반으로 평가를 굳건히 하고 피드백 및 학습 루프를 강조함으로써 지속 가능하고 신뢰할 수 있는 AI 도입을 촉진하기 위해.

제안 방법

• 보이드의 OODA 루프에서 영감을 얻어 개조한 인간-AI 결정보조 과정의 개념적 모델을 개발하며, 입력, 학습, 피드백 등의 데이터 요소와 관찰, 정렬, 결정, 행동 등의 운영 요소를 구분한다.
• 결정보조 과정의 특정 구성 요소에 평가(검증 및 검사)와 설명(어떻게? 그리고 왜?)을 매핑하여, 심층적인 검토가 가장 중요한 지점들을 규명한다.
• PSD에서 AI 도입을 위한 네 가지 구체적 전략을 제안한다: 사명 중심(결과에 중점), 데이터 중심(데이터 품질 및 관리에 중점), 작업 중심(인간-기계 협업에 중점), 평가 중심(통합적이고 근거 기반 접근 방식).
• 프레임워크를 활용해 공공부문에서 흔히 나타나는 응용 패턴을 분석하고, 각각의 경우에 대해 설명 및 평가의 핵심 문제점을 규명한다.
• 단일, 이중, 삼중 루프 학습 개념을 통합하여 피드백과 근거 기반 검증을 통한 반복적 개선의 중요성을 강조한다.
• AI 겨울의 역사적 교훈을 인용하여 장기적 성공은 기술적 성능을 넘어서 실제 영향력의 경험적 증거에 기반해야 한다고 주장한다.

실험 결과

연구 질문

• RQ1 공공부문 의사결정을 위한 AI/ML 시스템에서 평가와 설명을 어떻게 체계적으로 연결함으로써 신뢰성과 책임성을 향상시킬 수 있는가?
• RQ2 공공부문 AI 응용에서 검증(‘시스템을 제대로 구축하는 것’)과 검사(‘올바른 시스템을 구축하는 것’) 간의 설명 수요에 있어 핵심적인 차이점은 무엇인가?
• RQ3 사명 중심, 데이터 중심, 작업 중심, 근거 중심의 네 가지 제안된 전략은 평가 및 설명에 있어 어떤 점에서 차별화되며, 그 영향력은 어떠한가?
• RQ4 공공부문 기관의 사회기술적 과정은 AI 시스템 영향력 평가를 어떻게 복잡하게 만들며, 이를 어떻게 해결할 수 있는가?
• RQ5 피드백 루프와 근거 기반 평가를 통해 AI의 과도한 기대감 위험을 어떻게 줄이고, 공공 서비스에서의 지속 가능하고 높은 영향력을 가진 AI 도입을 보장할 수 있는가?

주요 결과

• 설명과 평가는 깊이 연계되어 있다: 효과적인 설명은 복잡한 사회기술적 시스템에서 검증(예: 디버깅)과 검사(예: 신뢰 형성)를 모두 지원한다.
• 사명 중심 전략은 결정, 행동, 피드백 데이터에 중점을 두며, 성공 또는 실패의 이유에 대한 설명을 통해 AI 성능을 실제 영향력과 연결한다.
• 데이터 중심 전략은 데이터 품질 향상과 관리 개선을 통해 평가를 강화하며, 검증에 대한 부담을 증가시키고 시스템 내 ‘알고 있는 것’의 범위를 넓힌다.
• 작업 중심 전략은 인간과 AI 간의 노동 분담 최적화를 통해 체계적 탄력성과 직무 만족도를 향상시키며, 설명이 신뢰성과 책임성에 핵심적인 역할을 한다.
• 평가 중심 전략은 전체 결정보조 과정에서 ‘무엇이 효과적인가’를 포괄적이고 근거 기반으로 파악함으로써 장기적 학습과 기관 기억을 지원한다.
• 피드백 루프—특히 삼중 루프 학습—은 새로운 맥락에 대한 AI 시스템 적응에 필수적이며, ‘알고 있는 것’과 ‘모르고 있는 것’의 위험을 완화하고 初기 성능 지표를 넘어서는 지속 가능한 영향력을 확보한다.