[논문 리뷰] ProtoAttend: Attention-Based Prototypical Learning

Sercan Ö. Arık, Tomas Pfister|arXiv (Cornell University)|2019. 02. 17.

Explainable Artificial Intelligence (XAI)참고 문헌 45인용 수 15

한 줄 요약

ProtoAttend는 입력에 따라 주어진 후보 데이터베이스에서 주의 기반 메커니즘을 사용해 선택된 프로토타입을 활용하는 새로운 주의 기반 프로토타입 학습 방법이다. 이 방법은 모델의 해석 가능성, 신뢰도 추정, 분포 외 탐지 능력을 향상시킨다. 이미지, 텍스트, 표 형식 데이터에서 최신 기술 수준의 성능을 달성하면서 기초 모델의 정확도를 유지하고 추론 오버헤드를 최소화한다.

ABSTRACT

We propose a novel inherently interpretable machine learning method that bases decisions on few relevant examples that we call prototypes. Our method, ProtoAttend, can be integrated into a wide range of neural network architectures including pre-trained models. It utilizes an attention mechanism that relates the encoded representations to samples in order to determine prototypes. The resulting model outperforms state of the art in three high impact problems without sacrificing accuracy of the original model: (1) it enables high-quality interpretability that outputs samples most relevant to the decision-making (i.e. a sample-based interpretability method); (2) it achieves state of the art confidence estimation by quantifying the mismatch across prototype labels; and (3) it obtains state of the art in distribution mismatch detection. All this can be achieved with minimal additional test time and a practically viable training time computational cost.

연구 동기 및 목표

• 예측을 설명하기 위해 관련 있는 훈련 샘플(프로토타입)의 소량을 사용하는 본질적으로 해석 가능한 딥 러닝 방법을 개발하는 것.
• 선택된 프로토타입 간의 레이블 불일치를 측정하여 신뢰도 추정을 가능하게 하는 것.
• 프로토타입 일관성 분석을 통해 테스트 데이터의 분포 이탈을 탐지하는 것.
• 통제된 프로토타입 선택을 통해 레이블 노이즈에 대한 강건성을 향상시키는 것.
• 기존의 신경망 아키텍처, 특히 사전 훈련된 모델과의 원활한 통합을 통해 최소한의 추론 비용을 유도하는 것.

제안 방법

• ProtoAttend는 입력 표현과 데이터베이스 내 후보 프로토타입 간의 관련성 점수를 주의 기반 메커니즘을 통해 계산한다.
• 학습 가능한 쿼리 및 키 벡터를 사용해 주의 가중치를 계산함으로써 입력 의존적 프로토타입 선택을 가능하게 한다.
• 희소성 유도를 위해 Sparsemax 정규화를 적용하여 고주의 주의를 가진 몇몇 프로토타입만 선택하도록 한다.
• 어떤 인코더 아키텍처와도 통합 가능하며, 최소한의 파rameter 증가(작은 두 개의 완전 연결 계층)로 엔드 투 엔드로 미세조정이 가능하다.
• 보정 성능 향상과 OOD 탐지 성능 향상을 위해 신뢰도 정규화를 적용한다.
• 추론 중에는 후보 키와 값이 사전에 계산되어 캐시되며, CIFAR-10에 대해 런타임 오버헤드가 0.6 MFLOPs 이하로 감소한다.

실험 결과

연구 질문

• RQ1 주목적 기반 프로토타입 선택이 주어진 입력에 대해 가장 관련성이 높은 훈련 샘플을 식별함으로써 모델의 해석 가능성 향상에 기여할 수 있는가?
• RQ2 프로토타입 기반의 레이블 불일치 탐지 방법이 낮은 신뢰도 또는 분포 외 예측을 얼마나 잘 식별할 수 있는가?
• RQ3 기초 모델의 정확도를 희생시키지 않고도 ProtoAttend가 신뢰도 추정 및 OOD 탐지에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 프로토타입의 희소성이 훈련 데이터의 레이블 노이즈에 대해 얼마나 강건성을 향상시키는가?
• RQ5 ProtoAttend가 사전 훈련된 모델에 효율적으로 통합되어 최소한의 계산 오버헤드를 유도할 수 있는가?

주요 결과

• ProtoAttend는 각 예측에 대해 가장 관련성이 높은 프로토타입을 검색하고 시각화함으로써 샘플 기반 해석 가능성에서 최신 기술 수준의 성능를 달성한다.
• 프로토타입 간의 레이블 불일치를 정량화함으로써 보다 보정된 예측이 가능하도록 하여 신뢰도 추정을 향상시킨다.
• CIFAR-10 대 비디오 스트림(SVHN)에 대한 분포 외 탐지에서 AUC 0.838을 기록하여 최신 기술 수준의 성능를 유지한다.
• Softmax 주의와 함께 신뢰도 정규화를 적용한 ProtoAttend는 정확도 측면에서 SOTA를 초월하며, 예측 수를 약간 줄여서 성능 향상을 이룬다(예: VDCNN 기반 DBpedia에서 약 3% 적은 예측 수).
• 기초 모델과 유사한 전체 정확도를 유지하면서도 동일한 아키텍처를 통해 해석 가능성 및 강건성의 여러 이점을 제공한다.
• 추론 오버헤드는 무시할 만큼 작다(CIFAR-10 기준 0.6 MFLOPs 미만)로 실세계 적용에 실용적이다.