[논문 리뷰] Interpretability Beyond Classification Output: Semantic Bottleneck Networks

Max Losch, Mario Fritz외 1명|arXiv (Cornell University)|2019. 07. 25.

Explainable Artificial Intelligence (XAI)참고 문헌 33인용 수 28

한 줄 요약

이 논문은 고수준 특징을 사전 정의된 의미적 개념(예: 객체 부위, 재질 등)으로 매핑하여 의미적으로 해석 가능한 중간 레이어를 딥러닝 모델에 통합하는 방법인 의미적 볼록망(Semantic Bottleneck Networks, SBN)을 소개한다. 수천 개의 채널에서 수십 개의 채널로 특징 차원을 감소시켜도 도로 경로 세분화 작업에서 최신 기술 성능을 유지하며, 예측의 완전한 해석 가능성(실패 분석 및 76.3%의 픽셀에 대해 99% 이상의 정확도로 신뢰도 추정 포함)을 제공한다.

ABSTRACT

Today's deep learning systems deliver high performance based on end-to-end training. While they deliver strong performance, these systems are hard to interpret. To address this issue, we propose Semantic Bottleneck Networks (SBN): deep networks with semantically interpretable intermediate layers that all downstream results are based on. As a consequence, the analysis on what the final prediction is based on is transparent to the engineer and failure cases and modes can be analyzed and avoided by high-level reasoning. We present a case study on street scene segmentation to demonstrate the feasibility and power of SBN. In particular, we start from a well performing classic deep network which we adapt to house a SB-Layer containing task related semantic concepts (such as object-parts and materials). Importantly, we can recover state of the art performance despite a drastic dimensionality reduction from 1000s (non-semantic feature) to 10s (semantic concept) channels. Additionally we show how the activations of the SB-Layer can be used for both the interpretation of failure cases of the network as well as for confidence prediction of the resulting output. For the first time, e.g., we show interpretable segmentation results for most predictions at over 99% accuracy.

연구 동기 및 목표

• 엔드 투 엔드 딥러닝 모델의 해석 불가능성 문제를 해결하기 위해 내재적으로 해석 가능한 중간 표현을 도입하기 위해.
• 엔지니어가 인간이 이해할 수 있는 의미적 개념을 사용해 모델 결정을 검토하고 추론할 수 있도록 하기 위해.
• 의미적 볼록망을 통해 특징 차원을 극적으로 감소시키면서도 최신 기술 성능을 유지하기 위해.
• 예측에서 누락되거나 모순되는 의미적 증거를 식별함으로써 실패 분석을 위한 도구를 제공하기 위해.
• 의미적 활성화를 기반으로 한 신뢰도 추정을 통해 모델 출력의 신뢰성과 신뢰도를 향상시키기 위해.

제안 방법

• 사전 훈련된 네트워크의 중간 특징을 작업에 관련된 개념의 사전 정의된 의미 공간으로 매핑하는 함수를 후행적으로 훈련하여 도입하기 위해.
• 원래 모델에 의미적 볼록(Semantic Bottleneck, SB) 레이어를 삽입하여 원래의 특징 레이어를 대체하고, 하류 레이어를 미세조정하기 위해.
• 강력한 예측 및 신뢰도 추정을 위해 공간 수용장(3x3)의 피라미드를 사용해 의미적 활성화를 집계하기 위해.
• 이진 분류기를 SB 출력에 적용하여 각 클래스별 신뢰도를 추정하고, 시그모이드 출력을 확률의 대체 측정으로 사용하기 위해.
• 신뢰도 예측기 훈련 시 잘못 분류되거나 잠재적으로 잘못 레이블링된 샘플을 제거하기 위해 이중 단계 필터링 프로세스를 적용하기 위해.
• SB 레이어의 활성화를 활용해 오류 케이스를 분석하여 누락되거나 모순되는 의미적 증거를 식별하기 위해.

실험 결과

연구 질문

• RQ1 성능을 저하시키지 않고 딥러닝 모델에 의미적으로 해석 가능한 중간 표현을 통합할 수 있는가?
• RQ2 의미적 볼록망 레이어는 최종 분류 출력을 넘어서 모델 결정의 해석 가능성에 어떻게 기여하는가?
• RQ3 누락되거나 모순되는 증거를 탐지함으로써 의미적 활성화를 실패 케이스 진단에 사용할 수 있는가?
• RQ4 SB 출력에 간단한 분류기를 적용하면 예측 정확도와 상관관계가 높은 신뢰도 추정을 신뢰성 있게 제공할 수 있는가?
• RQ5 수천 개의 특징 채널에서 수십 개의 의미적 채널로 특징 차원을 감소시키면서도 최신 기술 성능을 유지할 수 있는가?

주요 결과

• SBN은 특징 차원을 수천 개에서 수십 개의 의미적 채널로 줄였음에도 불구하고 도로 경로 세분화 작업에서 최신 기술 성능을 달성한다.
• 모델은 99% 이상의 예측에 대해 의미적으로 해석 가능한 세분화 결과를 제공하며, 의미적 개념 증거의 명확한 시각화를 가능하게 한다.
• 오분류의 원인은 종종 부분 탐지가 되지 않는 흐릿한 영역이나 올바른 신호를 지배하는 주변 텍스처 등으로 인해 누락되거나 모순되는 의미적 증거 때문인 경우가 많다.
• 단일 은닉층 분류기를 기반으로 한 신뢰도 예측기는 전체 픽셀의 76.3%에서 99% 이상의 정확도를 기록하며, 비해석 가능한 기준 모델과 밀도적으로 유사한 성능을 보인다.
• 직접적으로 관련된 의미적 개념을 갖는 클래스는 더 정확한 신뢰도 예측을 보이며, SB에서의 개념 정렬의 가치를 입증한다.
• SB 레이어를 통해 가설 테스트가 가능해지며, 예를 들어 특정 의미적 증거를 추가했을 때 예측이 올바른 클래스로 바뀔지 여부를 판단할 수 있다.