[논문 리뷰] Understanding Instance-based Interpretability of Variational Auto-Encoders

Zhifeng Kong, Kamalika Chaudhuri|arXiv (Cornell University)|2021. 05. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 35인용 수 11

한 줄 요약

이 논문은 영향 함수를 사용하여 변동형 자동차오토인코더(VAEs)에서 인스턴스 기반의 해석 가능성에 대해 계산적으로 효율적이고 이론적으로 타당한 방법인 VAE-TracIn을 제안한다. 반대가정 질문을 '어느 훈련 샘플이 테스트 샘플의 우도를 가장 크게 증가시키는가?'로 정의함으로써, 저자는 VAE-TracIn이 영향력 있는 훈련 샘플을 식별함을 보여주며, 높은 자기영향도는 재구성하기 어려운 또는 고대비 샘플임을 나타내고, 데이터 다양체 외부의 데이터 포인트를 탐지함으로써 비지도 학습 기반의 데이터 정제를 가능하게 한다.

ABSTRACT

Instance-based interpretation methods have been widely studied for supervised learning methods as they help explain how black box neural networks predict. However, instance-based interpretations remain ill-understood in the context of unsupervised learning. In this paper, we investigate influence functions [Koh and Liang, 2017], a popular instance-based interpretation method, for a class of deep generative models called variational auto-encoders (VAE). We formally frame the counter-factual question answered by influence functions in this setting, and through theoretical analysis, examine what they reveal about the impact of training samples on classical unsupervised learning methods. We then introduce VAE- TracIn, a computationally efficient and theoretically sound solution based on Pruthi et al. [2020], for VAEs. Finally, we evaluate VAE-TracIn on several real world datasets with extensive quantitative and qualitative analysis.

연구 동기 및 목표

• 레이블이 없는 환경에서 VAE에 대해 인스턴스 기반의 해석 가능성에 대한 수식적 정의를 내리기 위해, 우도 최대화에 기반한 반대가정 질문을 설정함.
• 편향기반의 인코더와 높은 차원의 파라미터 공간으로 인해 VAE에서 영향 함수를 계산하는 데 발생하는 문제, 즉 확률적 성격과 헤시안 역행렬 계산의 높은 계산 비용을 해결함.
• 헤시안 행렬 계산을 피하고 모델 체크포인트를 활용하여 빠른 계산을 가능하게 하는, 헤시안 계산을 회피하는 일계 근사인 VAE-TracIn을 개발함.
• 실제 데이터셋에서 VAE-TracIn의 실험적 검증을 통해, 영향력 있는 훈련 샘플을 식별하고 비지도 학습 기반의 데이터 품질 평가를 지원할 수 있음을 입증함.
• 높은 자기영향도를 가지는 샘플이 시각적으로 두드러지거나 고대비임을 보여주며, 이는 데이터 분포의 이질점 또는 이상치를 탐지하는 데 유용함을 시사함.

제안 방법

• 레이블이 없을 경우 VAE에 대해 반대가정 질문을 '어느 훈련 샘플이 테스트 샘플의 우도를 가장 크게 증가시키는가?'로 수식화함으로써, 레이블이 없더라도 영향 기반의 해석 가능성을 가능하게 함.
• 진짜 영향력을 근사하기 위해 영향 함수의 경험적 평균을 사용하며, 약한 조건 하에서 농도 경계를 증명함으로써 신뢰성 확보.
• 일계 영향 추정 방법인 TracIn을 VAE에 적응시켜 헤시안 역행렬 계산이 필요 없도록 하여, 모델 체크포인트를 활용한 빠른 계산을 가능하게 함.
• 높은 영향력의 훈련 샘플을 '지지자들'로, 낮은 영향력의 샘플을 '반대자들'로 정의하고, 이들의 시각적 특성과 잠재 공간 내 특성 분석함.
• MNIST와 CIFAR-10에서 VAE-TracIn을 평가하여, 영향도 점수와 잠재 공간 거리 및 노름 간의 관계를 분석하고, 높은 자기영향도 샘플을 필터링하여 비지도 학습 기반의 데이터 정제를 수행함.

실험 결과

연구 질문

• RQ1 레이블이 없는 환경에서 VAE에 대해 인스턴스 기반의 해석 가능성을 어떻게 수식적으로 정의할 수 있는가?
• RQ2 VAE에서 영향 함수와 우도 최대화 간의 이론적 관계는 무엇이며, 잠재 공간 내 쌍별 거리와는 어떻게 관련되는가?
• RQ3 편향기반의 인코더와 고차원 파라미터 공간을 고려할 때, VAE에서 영향 함수를 어떻게 효율적으로 계산할 수 있는가?
• RQ4 훈련 샘플이 테스트 샘플에 미치는 영향의 패턴은 무엇이며, 이는 시각적 특성과 잠재 공간 특성과 어떻게 관련되는가?
• RQ5 높은 자기영향도를 가지는 훈련 샘플은 비지도 환경에서 데이터 분포의 이질점 또는 이상치를 나타내는 지표로 활용될 수 있는가?

주요 결과

• VAE에서 높은 자기영향도를 가지는 훈련 샘플은 큰 재구성 손실과 관련이 있으며, 이는 시각적으로 복잡하거나 고대비이거나 재구성하기 어려운 샘플임을 시사함.
• 지지자들(높은 영향력 샘플)은 일반적으로 테스트 샘플과 시각적으로 유사하며, 배경 및 객체 색상이 일치하고, 종종 더 밝거나 더 생생함.
• CIFAR-10에서 강력한 지지자들은 일관되게 큰 잠재 공간 내 노름을 보이며, 이는 고대비 또는 밝은 이미지임을 시사함. CIFAR-9에서 평균 노름은 5.48±0.62임.
• 지지자와 반대자 모두 테스트 샘플과 잠재 공간에서 매우 가까이 위치해 있으며, 특히 β 값이 높을수록 강한 의미적 유사성을 보임.
• 강력한 반대자들은 종종 테스트 샘플과 같은 클래스에 속하지만 스타일, 두께 또는 형태에서 다름을 보이며, 이는 영향력이 미세한 시각적 변형에 민감함을 시사함.
• 이 방법은 높은 자기영향도를 통해 다양체 외부의 데이터 포인트를 성공적으로 식별하여, 레이블 없이도 효과적인 비지도 학습 기반의 데이터 정제를 가능하게 함.