[논문 리뷰] Four Principles of Explainable AI as Applied to Biometrics and Facial Forensic Algorithms

P. Jonathon Phillips, Mark A. Przybocki|arXiv (Cornell University)|2020. 02. 03.

Explainable Artificial Intelligence (XAI)참고 문헌 14인용 수 26

한 줄 요약

이 논문은 얼굴 인식 및 생체 인식 시스템에서 설명 가능성(Explainability)을 향상시키기 위해 네 가지 원칙—설명(Explanation), 이해 가능함(Interpretable), 설명 정확도(Explanation Accuracy), 지식 한계(Knowledge Limits)—을 제안한다. 이 원칙들은 네 가지 사례 연구를 통해 적용되며, 정확하고 사용자 맞춤형 설명을 생성하는 데서 발생하는 과제를 입증하고, 특히 인간의 직관을 초월하는 능력을 지닌 시스템을 위한 새로운 평가 방법과 도구의 필요성을 강조한다.

ABSTRACT

Traditionally, researchers in automatic face recognition and biometric technologies have focused on developing accurate algorithms. With this technology being integrated into operational systems, engineers and scientists are being asked, do these systems meet societal norms? The origin of this line of inquiry is `trust' of artificial intelligence (AI) systems. In this paper, we concentrate on adapting explainable AI to face recognition and biometrics, and we present four principles of explainable AI to face recognition and biometrics. The principles are illustrated by $\it{four}$ case studies, which show the challenges and issues in developing algorithms that can produce explanations.

연구 동기 및 목표

• AI 기반 생체 인식 시스템에 대한 사회적 신뢰 요구 증가에 대응하기 위해 설명 가능성을 핵심 시스템 성질로 체계화한다.
• 고위험 생체 인식 결정에서 정확하고 이해하기 쉬우며 사용자 기대와 일치하는 설명을 개발하는 데 있어 핵심 과제를 규명한다.
• 기술적 AI 성능과 사회적 기준 사이의 격차를 해소하기 위해, 법의학 식별 및 접근 제어와 같은 실제 응용 분야에 기반한 설명 가능성을 구체화한다.
• 개발자와 정책 입안자들이 신뢰할 수 있고 투명하며 공정한 생체 인식 시스템을 설계하는 데 안내할 수 있는 프레임워크를 제공한다.
• 인간의 직관을 초월하는 능력을 지닌 시스템을 위한 설명 지원을 위해 새로운 평가 기법과 전용 도구의 필요성을 강조한다.

제안 방법

• 생체 인식 및 얼굴 법의학 시스템에 특화된 설명 가능한 AI의 네 가지 핵심 원칙—설명(Explanation), 이해 가능함(Interpretable), 설명 정확도(Explanation Accuracy), 지식 한계(Knowledge Limits)—을 정의한다.
• 생체 인식 접근 제어, 저품질 음성 녹음에서의 음성 인식, 인간을 능가하는 AI 시스템, 법의학 심문관 협업 등 실제 사례 네 건을 통해 원칙을 적용한다.
• 최종 사용자, 감사원, 특수 훈련을 받은 전문가 등 다양한 사용자 그룹에 맞춘 다측면 설명을 제공한다.
• 실시간으로 최종 사용자에게 제공되지 않더라도, 감사 및 책임 소재 확보를 위해 설명을 저장하는 것이 중요하다는 점을 강조한다.
• 신뢰와 공정성을 유지하기 위해 설명은 이해 가능할 뿐 아니라 정확하고 의미 있는 것이어야 한다는 점을 주장한다.
• 시각화, 구술 기술, 하이브리드 형식을 포함한 다양한 설명 방식을 위한 새로운 평가 기법 개발을 주장한다.

실험 결과

연구 질문

• RQ1 설명 가능한 AI 원칙을 생체 인식 및 얼굴 법의학 시스템에 체계적으로 적용하여 사회적 신뢰를 향상시키는 방법은 무엇인가?
• RQ2 다양한 사용자 그룹에 걸쳐 정확하고 이해 가능한 설명을 생성하는 데 있어 핵심 과제는 무엇인가?
• RQ3 인간의 직관을 초월하는 능력을 지닌 시스템은 설명의 수용성과 설계에 어떤 영향을 미치는가?
• RQ4 설명 정확도와 지식 한계가 생체 인식 결정의 공정성과 신뢰성 확보에 미치는 역할은 무엇인가?
• RQ5 국가 수준의 데이터베이스와 같은 대규모 생체 인식 인fra에서 설명은 어떻게 효과적으로 생성, 저장, 배포될 수 있는가?

주요 결과

• 설명(Explanation), 이해 가능함(Interpretable), 설명 정확도(Explanation Accuracy), 지식 한계(Knowledge Limits)의 네 원칙은 생체 인식 AI 시스템에서 설명 가능성을 향상시키는 기초 프레임워크를 제공한다.
• 설명은 다양한 사용자 그룹에 맞춰져야 하므로, 모든 사용자가 동시에 받지 않더라도 다측면 설명 생성이 필수적이다.
• 현재 생체 인식 및 컴퓨터 비전 분야의 문헌은 설명 가능성 원칙에 거의 관심을 기울이지 않아 심각한 연구 격차가 존재한다.
• 우수한 정확도나 새로운 추론 경로를 지닌 초인간 능력을 지닌 시스템은 인간의 직관을 도전하고, 전문가가 해석할 수 있는 새로운 도구가 필요하다.
• 설명 정확도는 핵심적이다: 사실적으로 잘못되거나 오해의 소지가 있는 설명은 이해 가능하더라도 충분하지 않다.
• 국가 수준의 생체 인식 데이터베이스와 같은 지능형 인프라 시스템은 공공 및 정책 입안자에게 AI 결정을 해석하고 전달할 수 있는 특수 훈련을 받은 전문가가 필요하다.