[논문 리뷰] From Robustness to Explainability and Back Again

Xuanxiang Huang, João Marques‐Silva|arXiv (Cornell University)|2023. 06. 05.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 강건성 도구를 오라클로 활용하여 딥 네URAL 네트워크의 형식적 설명 확장성을 높이는 새로운 방법을 제안한다. 이 방법은 각 특성당 최대 한 번의 강건성 쿼리로 설명 계산을 줄이며, 적대적 강건성과 형식적 설명 간의 날카로운 이중성(duality)을 수립함으로써 수백 개의 ReLU 유닛을 가진 네트워크에 대해 거리 제한된 추론적 설명을 효율적으로 계산할 수 있게 한다. 이는 이전의 형식적 방법에 비해 상당한 확장성 향상을 보여준다.

ABSTRACT

Formal explainability guarantees the rigor of computed explanations, and so it is paramount in domains where rigor is critical, including those deemed high-risk. Unfortunately, since its inception formal explainability has been hampered by poor scalability. At present, this limitation still holds true for some families of classifiers, the most significant being deep neural networks. This paper addresses the poor scalability of formal explainability and proposes novel efficient algorithms for computing formal explanations. The novel algorithm computes explanations by answering instead a number of robustness queries, and such that the number of such queries is at most linear on the number of features. Consequently, the proposed algorithm establishes a direct relationship between the practical complexity of formal explainability and that of robustness. To achieve the proposed goals, the paper generalizes the definition of formal explanations, thereby allowing the use of robustness tools that are based on different distance norms, and also by reasoning in terms of some target degree of robustness. Preliminary experiments validate the practical efficiency of the proposed approach.

연구 동기 및 목표

• 딥 네URAL 네트워크 및 기타 복잡한 분류기의 형식적 설명에서 발생하는 심각한 확장성 장애를 해결하기 위해.
• 적대적 강건성과 형식적 추론적/대조적 설명 간의 엄밀하고 형식적인 관계를 수립하기 위해.
• 노름 기반 거리 기준(예: l_p 노름)과 목표 강건성 수준을 포함하도록 형식적 설명 정의를 일반화하기 위해.
• 기존의 강건성 도구를 오라클로 재사용하여 형식적 설명을 계산함으로써 실용적 확장성을 향상시키기 위해.
• 필요한 강건성 쿼리 수가 특성 수에 선형적임을 입증하고, 계산 오버헤드를 크게 감소시키기 위해.

제안 방법

• 형식적 설명을 거리 임계값 ε와 l_p 노름을 포함하도록 일반화하여, 강건성 인식 설명 정의를 가능하게 한다.
• 적대적 예제 오라클을 사용하여 형식적 설명 계산 문제를 연속적인 강건성 쿼리 시퀀스로 재구성한다.
• 특성 삭제를 테스트하여 각 특성당 최대 한 번의 쿼리로 ε-AXp(ε-Abductive eXplanation)를 계산하는 알고리즘을 설계함으로써, n개의 특성이 있을 경우 최대 n개의 쿼리로 해결한다.
• 강건성과 설명 간의 이중성 원리를 활용: 네트워크가 ε 하에서 강건하다면 ε-AXp는 존재하지 않으며, 그렇지 않다면 ε-AXp는 오류 예측을 유도하는 최소 특성 집합을 식별한다.
• 기존의 SMT 기반 강건성 도구(예: Marabou)를 오라클로 활용하여 적대적 쿼리를 효율적으로 처리한다.
• Perl로 프로토타입을 구현하고, Marabou를 강건성 오라클로 사용하여 ACASXU 네트워크에서 평가하였으며, 쿼리당 4800초의 타임아웃을 설정하였다.

실험 결과

연구 질문

• RQ1 기존의 강건성 도구를 재사용함으로써 딥 네URAL 네트워크의 형식적 설명을 확장 가능하게 만들 수 있는가?
• RQ2 어떻게 형식적 설명 정의를 거리 제약(예: l_p 노름 및 ε)을 포함하도록 일반화할 수 있는가?
• RQ3 형식적 설명 계산에서 강건성 쿼리 수와 특성 수 사이의 관계는 어떠한가?
• RQ4 적대적 강건성과 형식적 설명 간의 이중성을 활용하여 효율성을 향상시킬 수 있는가?
• RQ5 ε의 선택과 특성 삭제 순서가 설명 계산 성능에 미치는 영향은 어느 정도인가?

주요 결과

• 제안된 방법은 특성당 최대 한 번의 강건성 쿼리로 형식적 설명을 계산하여 특성 수에 대해 선형 복잡도를 달성한다.
• 이 방법은 수백 개의 ReLU 유닛을 가진 딥 네URAL 네트워크에 대해 형식적 설명을 가능하게 하며, 이는 이전의 형식적 방법이 수십 개의 유닛에만 제한되었던 것에 비해 10배 이상의 확장성 향상을 나타낸다.
• ACASXU 네트워크에서, 4800초 타임아웃 내에 ε-AXp 설명을 성공적으로 계산하였으며, 성능은 ε 값과 제거된 특성 수에 크게 의존하였다.
• 더 큰 ε 값이나 더 많은 특성 수의 삭제는 더 큰 검색 공간을 유도하여 런타임을 증가시켰지만, 수백 개의 유닛을 가진 네트워크에서는 여전히 실용적인 성능를 유지하였다.
• ε 값이 너무 작을 경우(예: 0.05) ε-AXp가 존재하지 않았으며, 이는 강건성이 설명의 부재를 의미하고, 더 작은 ε 값은 설명을 도출하기 어려운 것을 확인하였다.
• 이 방법은 설명 크기와 설명 수가 강건성 임계값 ε에 직접적으로 연관되어 있음을 입증하였으며, 더 높은 ε 값일수록 더 많은 설명이 도출됨을 보였다.