[논문 리뷰] Posthoc Interpretation via Quantization

Francesco Paissan, Cem Subakan외 1명|arXiv (Cornell University)|2023. 03. 22.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 벡터 양자화를 사용하여 클래스별로 분리된 이산 잠재 표현을 생성함으로써 딥 러닝 분류기 결정을 해석하는 Posthoc Interpretation via Quantization (PIQ)를 소개한다. 이산 버티브로 인해 모델이 중요한 입력 영역에 집중하도록 유도함으로써, 기존 방법보다 더 해석 가능하고 인간이 이해할 수 있는 설명을 생성한다. 이는 이미지 및 음성 데이터에서의 사용자 연구를 통해 검증되었다.

ABSTRACT

In this paper, we introduce a new approach, called Posthoc Interpretation via Quantization (PIQ), for interpreting decisions made by trained classifiers. Our method utilizes vector quantization to transform the representations of a classifier into a discrete, class-specific latent space. The class-specific codebooks act as a bottleneck that forces the interpreter to focus on the parts of the input data deemed relevant by the classifier for making a prediction. Our model formulation also enables learning concepts by incorporating the supervision of pretrained annotation models such as state-of-the-art image segmentation models. We evaluated our method through quantitative and qualitative studies involving black-and-white images, color images, and audio. As a result of these studies we found that PIQ generates interpretations that are more easily understood by participants to our user studies when compared to several other interpretation methods in the literature.

연구 동기 및 목표

• 의료와 같은 고위험 분야에서 딥 네트워크 결정에 대한 인간이 이해할 수 있는 설명의 부족을 해결하기 위해.
• 결정에 영향을 주는 입력 영역을 강조하는 직관적이고 국소화된 설명을 생성하는 후행적 설명 방법을 개발하기 위해.
• 복잡한 데이터에서 기초 모델(예: Segment-Anything Model (SAM))의 지도를 활용하여 해석 가능성의 향상을 위해.
• 정량적 평가 외에도 다양한 데이터 모odal리티에서 인간 선호도 연구를 통해 해석 가능성의 평가를 수행하기 위해.
• 선택적 특징 정의가 어려운 음성 및 저차원 시각 데이터에 해석을 적용할 수 있도록 하기 위해.

제안 방법

• PIQ는 분류기의 잠재 표현을 이산적이고 클래스별로 특화된 잠재 공간으로 매핑하기 위해 벡터 양자화를 사용하며, 이로 인해 관련 입력 특징을 강조하는 버티브를 형성한다.
• 각 클래스는 벡터 양자화 레이어에서 별도의 코드북을 가지며, 이로써 모델은 각 클래스에 대해 독립적이고 해석 가능한 개념을 학습할 수 있다.
• 사전 학습된 모델(예: SAM)의 지도를 통합함으로써 실제 이미지에 대해 고품질의 개념 학습이 가능하며, 수동 애너테이션 없이도 가능하다.
• 음성 및 저차원 데이터의 경우, 정밀도는 임계값 설정을 통해 유도되며, 복잡한 데이터의 경우 기초 모델이 지도를 제공하여 해석을 안내한다.
• 해석 디코더는 양자화된 잠재 코드를 기반으로 입력 영역을 재구성하여 결정에 관련된 부분을 강조하는 시각적 또는 음성 오버레이를 생성한다.
• 트레이닝은 VQ-VAE에서 유도된 벡터 양자화 목적함수를 사용하여 최적화되며, 이로 인해 이산적이고 압축적이며 의미 있는 표현이 보장된다.

실험 결과

연구 질문

• RQ1 벡터 양자화를 사용하여 딥 네트워크 결정의 해석 가능성을 향상시키기 위해 클래스별로 분리된 이산 잠재 표현을 만들 수 있는가?
• RQ2 이미지 및 음성 데이터에서 사용자 선호도 측면에서 PIQ의 해석은 LIME, GradCAM, L2I와 같은 기존 방법보다 어떻게 비교되는가?
• RQ3 PIQ는 피팅 튜닝 없이도 기초 모델(예: SAM)을 효과적으로 활용하여 실제 이미지에 대해 고품질의 해석을 생성할 수 있는가?
• RQ4 특히 모호하거나 겹치는 입력 케이스에서, 원래 데이터 분포에 충실하면서도 더 해석 가능한 설명을 생성하는가?
• RQ5 소리 이벤트의 혼합에서 원천 분리가 어려운 상황에서 PIQ는 음성 데이터에서 어떻게 성능을 발휘하는가?

주요 결과

• 흑백 이미지에 대해 PIQ는 여러 베이스라인 방법보다 정량적 지표에서 뛰어난 성능을 보였으며, 원본 데이터 분포에 매우 가까운 수준을 유지했다.
• 흑백 이미지, 컬러 이미지, 음성 데이터에서의 사용자 연구에서 참가자들은 PIQ의 해석을 LIME, VIBI, FLINT, L2I, GradCAM의 해석보다 일관되게 선호했다.
• ESC-50 데이터셋의 음성 혼합물에서 PIQ는 공식 및 재현된 L2I 베이스라인보다 평균 의견 점수(5점 척도)에서 유의미하게 높은 점수를 기록했다.
• 사용자 연구 결과는 PIQ의 해석이 특히 겹치는 숫자나 혼합된 음성과 같은 복잡한 상황에서 더 정확하고 이해하기 쉬운 것으로 평가되었다.
• PIQ는 Segment-Anything Model (SAM)의 지도를 활용하여 실제 이미지에 대해 의미 있고 국소화된 해석을 성공적으로 생성했으며, 복잡한 데이터에 대한 확장성도 입증했다.
• 이 방법은 모달리티 간에 일반화되며, 모달리티별 재학습 없이도 이미지 및 음성 데이터 모두에 대해 해석 가능한 출력을 생성한다.