[논문 리뷰] In-Distribution Interpretability for Challenging Modalities

Cosmas Heiß, Ron Levie외 3명|arXiv (Cornell University)|2020. 07. 01.

Explainable Artificial Intelligence (XAI)참고 문헌 18인용 수 5

한 줄 요약

이 논문은 음악 및 도시 물리 시뮬레이션과 같은 도전적인 모odal에서 딥러닝 모델에 대해 충실하고 의미 있는 설명을 제공하는 도메인에 관계없는, GAN 기반의 내분포 해석 방법을 제안한다. 현실적인 데이터 분포 제약 조건 하에서 모델 예측을 유지함으로써, 건물이나 신호 측정치와 같은 예측에 기여하는 핵심 입력 성분을 특정한다. 이는 표준 차폐 방법에 비해 뛰어난 해석 가능성과 함께, 보다 신뢰할 수 있는 설명을 가능하게 한다.

ABSTRACT

It is widely recognized that the predictions of deep neural networks are difficult to parse relative to simpler approaches. However, the development of methods to investigate the mode of operation of such models has advanced rapidly in the past few years. Recent work introduced an intuitive framework which utilizes generative models to improve on the meaningfulness of such explanations. In this work, we display the flexibility of this method to interpret diverse and challenging modalities: music and physical simulations of urban environments.

연구 동기 및 목표

• 음악 및 도시 시뮬레이션과 같은 복잡한 모달에서 충실하고 분포 인식 해석의 부족을 해결하기 위해.
• 외부 분포 입력으로 인한 부정확한 해석을 방지하기 위해, 편향이 없는 데이터 다양체 내에서 유지되는 편향을 보장함으로써 딥 네트워크의 해석 가능성 향상.
• 생성 모델을 사용하여 내재적 이미지 모달 외의 모달에 Rate-Distortion Explanation (RDE) 프레임워크를 확장하여 현실적인 인painting을 가능하게 하기 위해.
• 도시 환경에서의 라디오 신호 맵핑과 같은 물리 시뮬레이션에서 모델 행동을 평가하기 위해, 건물 또는 측정치와 같은 입력 성분 중 어느 것이 예측에 가장 영향을 미치는지 특정하기 위해.
• 내분포 편향이 표준 차폐 또는 무작위 노이즈 방법에 비해 더 신뢰할 수 있고 의미 있는 해석을 제공하는지 입증하기 위해.

제안 방법

• 이진 마스크 $ s \in \{0,1\}^d $ 의 미분 가능하고 연속적인 근사화를 concrete 분포를 통해 수행하여 희소성과 관련성 최적화.
• 마스크 $ s $ 에 $ \ell_1 $-정규화를 적용하여 0 또는 1에 수렴하도록 유도함으로써, 희소하고 해석 가능한 성분 확보.
• 학습된 GAN 기반 인painting 네트워크 $ G $ 를 사용하여 현실적인 가로막힌 입력 $ z = x \odot s + G(x,s,n) \odot (1-s) $ 생성, $ z $ 가 내분포에 유지되도록 보장.
• 온도 조절 샘플링을 사용한 SGD로 손실 함수 $ L'(s) = \frac{1}{2}\mathbb{E}_{z\sim\Upsilon_s}[(\Phi_d(x) - \Phi_d(z))^2] + \lambda \|s\|_1 $ 최적화.
• 일련의 반복을 통해 모델 예측을 유지하는 최소 입력 성분 집합(예: 건물, 신호 측정치)을 식별하기 위해 매칭 푸러치 적용.
• 블랙박스 및 모델 기반 인painting을 모두 사용하여 음악 생성 및 도시 환경에서의 라디오 신호 맵핑이라는 두 가지 도전적인 모달에 방법 적용.

실험 결과

연구 질문

• RQ1 음악 및 물리 시뮬레이션과 같은 비이미지 모달에서 딥러닝 모델에 대해 충실하고 내분포 해석을 어떻게 생성할 수 있는가?
• RQ2 무작위 또는 배경 색상 차폐에 비해 GAN 기반 인painting 네트워크를 사용할 경우, 모델 해석의 의미 있는 정도가 얼마나 향상되는가?
• RQ3 라디오 신호 예측 모델의 의사결정 과정에서 가장 영향을 미치는 입력 성분은 건물인지 신호 측정치인가?
• RQ4 제안된 방법은 모델 행동에서 전반적인 구조적 패턴(예: 건물 레이아웃)과 국소적 신호 측정치를 구분할 수 있는가?
• RQ5 예를 들어 모델 기반 vs. 무작위 인painting 전략의 선택이 복잡한 시뮬레이션에서 예측의 해석 가능성에 어떻게 영향을 미치는가?

주요 결과

• 모델이 누락된 건물의 그림자 영역 내의 신호 측정치가 라디오 맵의 어두운 영역을 예측하는 데 핵심적임을 확인하여, 모델이 건물 존재를 유추한 것으로 나타났다.
• 밝은 영역을 설명할 때, 모델은 송신기의 선로 시야 내 측정치에 의존하며, 설명은 모델이 과도한 차폐를 예측하지 않도록 방지하는 경향을 보였다.
• 모델 기반 인painting과 $ \Phi_{\text{gt}} $ 를 사용할 경우, 특히 고대비 영역에서 무작위 또는 단순한 인painting에 비해 더 현실적이고 신뢰할 수 있는 해석을 제공했다.
• GAN 기반 인painting을 사용함으로써 가로막힌 입력이 데이터 다양체 내에 유지되어, 외부 분포 편향으로 인한 부정확한 해석 위험을 감소시켰다.
• 이 방법은 전반적인 구조적 성분(예: 건물 레이아웃)이 국소적 신호 포인트보다 더 영향력이 크다는 것을 식별하였으며, 이는 UNet 아키텍처의 전역 특징 추출과 일치했다.
• 라디오 맵 작업에서 최적화된 마스크는 질문 맥락에 따라 그림자 영역과 선로 시야 측정치가 모두 결정적인 역할을 한다고 정확히 강조하였다.