[논문 리뷰] Now You See Me (CME): Concept-based Model Extraction

Dmitry Kazhdan, Botty Dimanov외 3명|arXiv (Cornell University)|2020. 10. 25.

Topic Modeling참고 문헌 26인용 수 23

한 줄 요약

CME는 딥 네URAL 네트워크(DNN)에서 이해할 수 있는 모델을 추출하고 분석하기 위한 모델에 종속되지 않는 개념 기반 프레임워크이다. 입력에서 개념(I-to-C) 및 개념에서 출력(C-to-O)으로의 함수를 사용하여 픽셀 수준의 입력을 인간이 이해할 수 있는 개념으로 매핑하고 레이블을 예측함으로써 설명 가능성, 모델 디버깅 및 성능 향상이 가능하다. 한 사례 연구에서 30%의 개념만을 사용하여 정확도가 14.3% 향상된 바 있다.

ABSTRACT

Deep Neural Networks (DNNs) have achieved remarkable performance on a range of tasks. A key step to further empowering DNN-based approaches is improving their explainability. In this work we present CME: a concept-based model extraction framework, used for analysing DNN models via concept-based extracted models. Using two case studies (dSprites, and Caltech UCSD Birds), we demonstrate how CME can be used to (i) analyse the concept information learned by a DNN model (ii) analyse how a DNN uses this concept information when predicting output labels (iii) identify key concept information that can further improve DNN predictive performance (for one of the case studies, we showed how model accuracy can be improved by over 14%, using only 30% of the available concepts).

연구 동기 및 목표

• 특성 중요도 방법의 한계를 해결하기 위해, DNN 결정을 설명하는 데 있어 취약하고 인간의 이해를 향상시키지 못하는 점을 해결한다.
• 기존의 개념 기반 설명 방식이 다중 값 개념을 이진화해야 하고 단일 레이어의 잠재 표현에 의존하는 점을 보완한다.
• DNN이 여러 레이어에 걸쳐 개념 정보를 어떻게 학습하고 표현하며 활용하는지의 포괄적인 분석을 가능하게 하여 모델의 해석 가능성과 성능 향상을 도모한다.
• 일반적인 목적의 모델에 종속되지 않는 프레임워크를 제공하여 개념 기반 설명을 통한 모델 검증, 디버깅 및 지식 추출을 지원한다.

제안 방법

• 두 단계로 구성된 모델 추출 파이프라인 도입: (1) 입력에서 개념(I-to-C) 함수로, 다중 레이어 잠재 공간 정보를 활용하여 입력 데이터를 개념 표현으로 매핑한다.
• 추출된 개념과 최종 예측 간의 기능적 관계를 모델링하는 개념에서 출력(C-to-O) 함수를 사용하여 해석 가능한 결정 규칙을 제공한다.
• 개념 추출 품질을 평가하기 위한 신규 지표를 도입하여 개념 표현의 강건성과 충실도를 확보한다.
• 다중 레이어 잠재 공간 분석을 활용하여 최적의 개념 추출 레이어를 식별함으로써 단일 레이어 접근 방식의 상충 관계를 피한다.
• 클러스터링 및 다양체 시각화 기법을 활용하여 DNN 레이어 전반에서 개념 값이 어떻게 인코딩되는지 점검한다.
• 기존의 잠재 공간 분석 도구와 개념 기반 설명을 통합하여 모델 점검, 검증 및 지식 추출을 지원한다.

실험 결과

연구 질문

• RQ1 딥 네URAL 네트워크는 개별 특성이나 픽셀이 아닌 인간이 이해할 수 있는 개념 기반으로 어떻게 분석될 수 있는가?
• RQ2 DNN가 학습한 개념 정보는 네트워크의 다양한 레이어에서 어떻게 변화하는가?
• RQ3 개념 기반 설명은 모델의 해석 가능성, 디버깅 및 성능 향상에 얼마나 기여할 수 있는가?
• RQ4 최소한의 데이터로도 높은 성능 향상을 이끌 수 있는 핵심 개념 정보를 어떻게 식별할 수 있는가?
• RQ5 이진화 없이 다중 값 개념을 효과적으로 다룰 수 있는 방법은 무엇인가? 이는 기수의 폭발과 상호 배타성 오류를 방지할 수 있다.

주요 결과

• CME는 원본 모델의 행동과 충실도를 유지하면서도 해석 가능성이 높은 개념 기반 모델을 DNN에서 성공적으로 추출한다.
• 이 프레임워크는 DNN이 여러 레이어에 걸쳐 개념 정보를 어떻게 표현하고 활용하는지에 대한 정성적·정량적 분석을 가능하게 한다.
• 캘테크 UCSD 새 사례 연구에서 가용한 개념의 30%만을 사용하여 정확도가 14% 이상 향상되었으며, 이는 프레임워크의 성능 향상 잠재력을 입증한다.
• CME는 DNN의 고차원 레이어에서 개념 값에 대한 더 단일 모드이고 분리 가능한 다양체를 생성함을 식별하여 개념의 분리도가 높아지는 경향을 보여준다.
• C-to-O 함수(예: 결정 트리)는 개념이 예측에 어떻게 기능적으로 조합되는지 드러내어 잘못되거나 편향된 결정 패tern을 탐지할 수 있다.
• 제안된 개념 추출 품질 평가 지표는 다양한 개념 학습 방법 간의 비교 및 검증을 위한 신뢰할 수 있는 방법을 제공한다.