[논문 리뷰] VeriX: Towards Verified Explainability of Deep Neural Networks

Min Wu, Haoze Wu외 1명|arXiv (Cornell University)|2022. 12. 02.

Explainable Artificial Intelligence (XAI)인용 수 5

한 줄 요약

VeriX는 제약 충족과 특징 수준의 민감도 순위를 활용하여 연속적이고 무한한 변형에 대해 형식적 보장을 제공하는 검증된 설명 가능성 프레임워크를 소개한다. 이는 깊이 신경망에 대한 최적의 강건한 설명을 생성하며, 결정 경계 근처에서 자동으로 반성적 대체를 생성함으로써 이미지 인식 및 자율 항공기 이동 제어 작업에서 확장성과 형식적 타당성을 입증한다.

ABSTRACT

We present VeriX (Verified eXplainability), a system for producing optimal robust explanations and generating counterfactuals along decision boundaries of machine learning models. We build such explanations and counterfactuals iteratively using constraint solving techniques and a heuristic based on feature-level sensitivity ranking. We evaluate our method on image recognition benchmarks and a real-world scenario of autonomous aircraft taxiing.

연구 동기 및 목표

• LIME나 SHAP와 같은 모델 독립적 설명 방법에는 형식적 보장이 부족해 분포 이동 시 편향을 가림 또는 실패할 수 있다는 점을 해결하기 위해.
• 기존 형식적 설명 방법은 단순한 모델이나 이산적 변형만 다루는 경향이 있어 확장성과 정밀도에 한계가 있다는 점을 극복하기 위해.
• 입력 공간에서 연속적이고 무한한 변형에 대해 강건한 최적의 최소 설명을 생성하면서도 계산 가능성을 유지하기 위해.
• 설명과 반성적 대체 사이의 형식적 연결을 구축하여, 추가 비용 없이도 자동으로 반성적 대체를 생성할 수 있도록 하기 위해.
• 실제 안전 중심 응용 분야, 예를 들어 자율 항공기 이동 제어에 프레임워크를 적용하여 실용적 신뢰성을 입증하기 위해.

제안 방법

• 입력 공간에서 연속적이고 무한한 변형에 대해 형식적 보장을 갖는 강건한 설명을 도출하기 위해 제약 충족 기법을 사용한다.
• 고차원 입력에 대해 확장성을 향상시키기 위해 최적의 설명 탐색을 이끄는 특징 수준의 민감도 순위 히وري스틱을 적용한다.
• 특징을 변형했을 때 모델 예측이 바뀔 수 있는지 확인하기 위해 검증기(예: DeepPoly 또는 완전 탐색)를 통합하여 타당성을 보장한다.
• 불필요한 특징 집합 B와 설명 집합 A를 유지하는 재귀적 정밀 조정 과정을 적용하며, 검증 결과에 따라 특징을 반복적으로 제거한다.
• 설명과 반성적 대체 간의 이중성 구조를 활용한다: 설명 집합 A에 속하는 특징들은 그 값을 변형하면 예측을 바꿀 수 있으며, 이는 자동으로 반성적 대체 생성을 가능하게 한다.
• 완전 검증 및 비완전 검증 절차(예: DeepPoly)를 모두 지원하여 설명 크기와 생성 시간 사이의 트레이드오프를 가능하게 한다.

실험 결과

연구 질문

• RQ1 연속적이고 무한한 변형에 대해 형식적 보장을 갖는 최적의 최소 설명을 깊이 신경망에 대해 생성할 수 있는가?
• RQ2 고차원 입력과 큰 모델에 대해 설명 생성 과정을 효율적으로 확장할 수 있는가?
• RQ3 설명과 반성적 대체 사이의 관계는 무엇이며, 설명 과정에서 반성적 대체를 자동으로 생성할 수 있는가?
• RQ4 비완전 검증(예: DeepPoly)을 사용할 경우, 완전 탐색 대비 설명 크기와 생성 시간에 어떤 영향을 미치는가?
• RQ5 이 프레임워크는 자율 항공기 이동 제어와 같은 실세계 안전 중심 응용 분야에 효과적으로 적용될 수 있는가?

주요 결과

• VeriX는 연속적 변형에 대해 형식적 보장을 갖는 강건한 설명을 생성하여, 예측을 바꿀 수 있는 특징은 오직 설명 집합 A에 속한 특징들뿐임을 보장한다.
• 특징 수준의 민감도 순위를 활용하면 설명 크기가 감소하고 확장성이 향상되며, 특히 이미지와 같은 고차원 입력에서 두드러진다.
• MNIST에서 완전 검증을 사용할 경우, 평균 설명 크기는 민감도 기반 330.8, 무작위 기반 467.4이며, 평균 생성 시간은 각각 106.11초, 100.19초이다.
• GTSRB에서는 동일한 ε=0.5% 변형 조건 하에서 평균 설명 크기 385.2(민감도 기반) 및 400.2(무작위 기반), 평균 생성 시간은 각각 858.39초 및 816.38초이다.
• 비완전 검증(예: DeepPoly)을 사용할 경우 더 큰 설명이 생성되지만 생성 시간이 빨라지며, MNIST(ε=5%)에서는 GTSRB(ε=0.5%)보다 더 뚜렷한 트레이드오프가 나타난다.
• 이 프레임워크는 의료 진단 모델에서 피부 톤과 같은 편향을 드러내는 특징을 성공적으로 식별하여, 고위험 AI 응용 분야에서의 공정성 평가 잠재력이 있음을 입증한다.