[논문 리뷰] Concept-level Debugging of Part-Prototype Networks

Andrea Bontempelli, Stefano Teso외 3명|arXiv (Cornell University)|2022. 05. 31.

Explainable Artificial Intelligence (XAI)인용 수 7

한 줄 요약

이 논문은 Part-Prototype Networks(ProtoPNets)를 위한 개념 수준 디버깅 프레임워크인 ProtoPDebug를 소개한다. 이 프레임워크를 통해 인간 감시자가 특정 부품 프로토타입을 기억하거나 잊도록 지정함으로써 모델 동작을 수정할 수 있다. 모델 설명과 새로운 손실 함수를 활용함으로써 ProtoPDebug는 입력 수준의 디버깅 방법에 비해 최대 80%까지 애너테이션 비용을 절감하면서 일반화 능력을 향상시킨다.

ABSTRACT

Part-prototype Networks (ProtoPNets) are concept-based classifiers designed to achieve the same performance as black-box models without compromising transparency. ProtoPNets compute predictions based on similarity to class-specific part-prototypes learned to recognize parts of training examples, making it easy to faithfully determine what examples are responsible for any target prediction and why. However, like other models, they are prone to picking up confounders and shortcuts from the data, thus suffering from compromised prediction accuracy and limited generalization. We propose ProtoPDebug, an effective concept-level debugger for ProtoPNets in which a human supervisor, guided by the model's explanations, supplies feedback in the form of what part-prototypes must be forgotten or kept, and the model is fine-tuned to align with this supervision. Our experimental evaluation shows that ProtoPDebug outperforms state-of-the-art debuggers for a fraction of the annotation cost. An online experiment with laypeople confirms the simplicity of the feedback requested to the users and the effectiveness of the collected feedback for learning confounder-free part-prototypes. ProtoPDebug is a promising tool for trustworthy interactive learning in critical applications, as suggested by a preliminary evaluation on a medical decision making task.

연구 동기 및 목표

• 해당 모델의 해석 가능성에도 불구하고 일반화 능력과 공정성을 해치는 혼동 요인과 단서 문제를 해결하기 위해.
• 기존 디버깅 방법이 각각의 입력 수준 피드백(예: 픽셀 수준의 관련성 매스크)을 요구함으로써 발생하는 높은 애너테이션 비용을 줄이기 위해.
• 사용자가 부품 프로토타입에 대해 고수준의 개념 기반 피드백를 제공할 수 있도록 인간-모델 상호작용을 가능하게 하여 예시 간에 일반화되는 피드백를 가능하게 하기 위해.
• 혼동된 부품 프로토타입을 능동적으로 잊고, 품질이 높고 원인관계가 있는 프로토타입을 유지함으로써 모델의 강건성을 향상시키기 위해.
• 실제 환경과 시뮬레이션 환경에서 개념 기반 피드백의 효과성을 입증하기 위해, 특히 의료 영상 분류 작업을 포함하여.

제안 방법

• ProtoPNets가 내재한 사례 기반 설명 기능을 활용하여 사용자에게 예측에 기여하는 부품 프로토타입을 시각화한다.
• 사용자가 모델 설명을 검토한 후 특정 부품 프로토타입을 '잊기' 또는 '유지하기'로 표시함으로써 피드백를 제공할 수 있도록 허용한다.
• 이중 손실 함수를 도입한다: 혼동된 개념과 유사한 프로토타입에 대해 벌점을 주는 '잊기 손실'과 품질이 높은 프로토타입을 유지하는 데 기여하는 '유지 손실'.
• 피드백와 이중 손실 함수를 사용하여 ProtoPNet를 미세 조정하며, 특징 추출기의 가중치는 고정한 채로 부품 프로토타입 파라미터만 갱신한다.
• 각 예제 수준의 애너테이션을 피하기 위해 개념 수준(즉, 부품 프로토타입)에서 작동함으로써 피드백의 일반화를 달성한다.
• iProto-TREX와 ProSeNets를 포함한 기존 ProtoPNet 변종과 최소한의 아키텍처 변경으로 통합 가능하도록 설계한다.

실험 결과

연구 질문

• RQ1 입력 수준 피드백에 비해 개념 수준 피드백를 사용함으로써 애너테이션 비용을 크게 절감할 수 있는가?
• RQ2 ProtoPDebug는 혼동된 부품 프로토타입을 성공적으로 제거하면서도 유용하고 원인관계가 있는 프로토타입은 유지하는가?
• RQ3 ProtoPDebug는 분포 외 데이터에서 복귀(relapse)를 방지하고 강건성을 유지하는 데 얼마나 효과적인가?
• RQ4 모델 설명을 안내로 제공할 경우 비전문가 사용자도 신뢰할 수 있고 효과적인 피드백를 제공할 수 있는가?
• RQ5 ProtoPDebug는 의료 영상 분류와 같은 실제 고위험 응용 분야에 성공적으로 적용될 수 있는가?

주요 결과

• ProtoPDebug는 최신의 입력 수준 디버깅 방법에 비해 애너테이션 비용을 최대 80%까지 절감하면서도 뛰어난 성능을 달성한다.
• 디버깅 후 일반화 능력과 분포 외 정확도가 향상되었으며, 특히 워터마크가 찍힌 X레이나 하늘/풀 패치 등 강한 혼동 요인이 존재하는 데이터셋에서 두드러진다.
• 일반인을 대상으로 한 온라인 실험을 통해 사용자가 모델 설명만으로도 혼동된 부품 프로토타입을 신뢰성 있게 식별하고 수정할 수 있었으며, 높은 수준의 피드백 품질을 확보했다.
• ProtoPDebug는 혼동된 개념을 다시 학습하는 것을 방지하기 위해 능동적으로 이를 억제하는 잊기 손실을 사용함으로써 복귀를 방지한다.
• 시뮬레이션 및 실제 데이터셋 모두에서 기존 디버거보다 기존 버그를 더 잘 수정하고 새로운 버그를 방지하는 데 뛰어난 성능을 보였다.
• 의료 결정 지원 과제(ChestX-ray14)에 대한 초도 평가 결과, ProtoPDebug는 중요 응용 분야에서 모델의 신뢰성과 신뢰도를 향상시켰다.