[논문 리뷰] Bayes-TrEx: a Bayesian Sampling Approach to Model Transparency by Example

Serena Booth, Yilun Zhou외 2명|arXiv (Cornell University)|2020. 02. 19.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

Bayes-TrEx는 테스트셋 분석을 넘어서 모델의 투명성을 향상시키기 위해 특정 예측 신뢰도를 가진 분포 내 예시를 생성하는 베이지안 샘플링 프레임워크를 제안한다. 계층적 베이지안 모델에 MCMC를 적용하여 고신뢰도 오분류, 모호한 케이스, 외삽 행동을 드러내며, 테스트셋 검사에 비해 모델 고장 모드를 훨씬 더 우수하게 발견한다.

ABSTRACT

Post-hoc explanation methods are gaining popularity for interpreting, understanding, and debugging neural networks. Most analyses using such methods explain decisions in response to inputs drawn from the test set. However, the test set may have few examples that trigger some model behaviors, such as high-confidence failures or ambiguous classifications. To address these challenges, we introduce a flexible model inspection framework: Bayes-TrEx. Given a data distribution, Bayes-TrEx finds in-distribution examples with a specified prediction confidence. We demonstrate several use cases of Bayes-TrEx, including revealing highly confident (mis)classifications, visualizing class boundaries via ambiguous examples, understanding novel-class extrapolation behavior, and exposing neural network overconfidence. We use Bayes-TrEx to study classifiers trained on CLEVR, MNIST, and Fashion-MNIST, and we show that this framework enables more flexible holistic model analysis than just inspecting the test set. Code is available at https://github.com/serenabooth/Bayes-TrEx.

연구 동기 및 목표

• 테스트셋 입력에만 의존하는 사후 해석 방법의 한계를 해결하기 위해, 희귀하거나 고신뢰도 고장 모드의 예시가 부족할 수 있는 테스트셋에만 의존하는 방법의 한계를 해결한다.
• 특정 예측 신뢰도를 유도하는 다양한 분포 내 예시를 생성함으로써 종합적인 모델 분석을 가능하게 한다.
• 과신뢰, 모호한 분류, 새로운 클래스로의 외삽과 같은 행동에 대해 예시를 통한 투명성 향상을 도모한다.
• 학습된 데이터 분포(예: VAE, GAN) 또는 수동으로 정의된 분포를 지원하는 융통성 있는 프레임워크를 제공하여 시각 기반 벤치마크 전반에 적용 가능하도록 한다.
• 선택적 해석 기법(예: 샐런시 맵 등)을 통해 추가 분석이 가능한 예시를 생성함으로써 디버깅 및 해석을 지원한다.

제안 방법

• Bayes-TrEx는 목표 예측 신뢰도를 가진 분포 내 예시를 찾는 문제를 계층적 베이지안 모델에서의 사후 추론으로 공식화한다.
• 마르코프 체인 몬테카를로(MCMC) 샘플링을 사용해 잠재 표현의 사후 분포를 탐색함으로써 생성된 예시가 타당하고 원하는 신뢰도 수준을 충족하도록 보장한다.
• 정확한 수준 집합 제약 조건을 완화하기 위해 신뢰도 간격을 넓혀 사후 샘플링의 계산 가능성을 확보한다.
• 이미지 데이터의 경우 VAE나 GAN으로 학습된 데이터 분포와 통합하며, CLEVR와 같은 구조적 데이터의 경우 수동으로 정의된 분포를 사용한다.
• 다양한 예측 신뢰도 목표(예: 균형 잡힌, 고신뢰도, 또는 모호한 예측)를 설정함으로써 다양한 사용 사례를 지원한다.
• 생성된 예시는 SmoothGrad와 같은 기존 국소 해석 기법(예: 샐런시 맵)을 통해 모델의 주의 집중 및 결정 이론을 해석하는 데 활용된다.

실험 결과

연구 질문

• RQ1 베이지안 샘플링 접근법이 표준 테스트셋에서 놓친 고신뢰도 오분류를 드러내는 분포 내 예시를 생성할 수 있는가?
• RQ2 테스트셋 검사에 비해 Bayes-TrEx는 모호한 예시를 얼마나 효과적으로 드러내어 클래스 경계를 비추는가?
• RQ3 Bayes-TrEx는 혼동 행렬에서 드러나지 않는 모델의 과신뢰 및 새로운 클래스로의 외삽 행동을 어느 정도 드러낼 수 있는가?
• RQ4 모델 디버깅을 위한 진정성과 대표성 측면에서 생성된 예시는 테스트셋 예시와 어떻게 비교되는가?
• RQ5 이 프레임워크는 CLEVR, MNIST, Fashion-MNIST에서 훈련된 다양한 데이터 분포 및 모델 아키텍처로 일반화 가능한가?

주요 결과

• Fashion-MNIST에서 Bayes-TrEx는 총 93개의 테스트셋 예시보다 훨씬 많은 51개의 고신뢰도 오분류를 발견했으며, 대부분의 테스트셋 오류는 데이터 레이블 오류에 기인한 것이지 모델 오류가 아니었다.
• CLEVR에서 Bayes-TrEx는 구체가 하나도 없는 장면(실로나와 큐브만 존재)을 97.1%의 신뢰도로 구체가 포함된 것으로 분류한 사례를 발견하여 심각한 고장 모드를 드러냈다.
• 이 프레임워크는 희소한 데이터로 인해 이러한 케이스가 자주 누락되는 테스트셋 분석에 비해 고신뢰도 오분류 및 모호한 예시를 더 많이 발견했다.
• 새로운 클래스로의 외삽에 대해 Bayes-TrEx는 모델이 가방을 발목 부츠로 잘못 분류한 사례를 드러냈다—이러한 행동은 테스트셋 혼동 행렬에 나타나지 않아 숨겨진 고장 모드임을 시사한다.
• 생성된 예시에 샐런시 맵를 적용한 결과, 모델의 주의가 작은 시각적으로 유사한 물체(예: 빨간 실로나가 구체로 잘못 인식됨)에 잘못 분산되어 있음을 확인하여 발견의 해석 가능성과 타당성을 검증했다.
• 이 방법은 테스트셋 기반 평가가 중요한 고장 패tern을 놓칠 수 있음을 입증하였으며, 분포 인식 기반의 체계적 예시 생성을 통해 더 포괄적이고 신뢰할 수 있는 모델 투명성을 실현함을 보였다.