[논문 리뷰] Interpreting Shared Deep Learning Models via Explicable Boundary Trees

Huijun Wu, Chen Wang외 3명|arXiv (Cornell University)|2017. 09. 12.

Explainable Artificial Intelligence (XAI)참고 문헌 19인용 수 5

한 줄 요약

이 논문은 신뢰도를 향상하기 위해 공유된 딥 러닝 모델의 의사결정 경계를 고정밀도로 근사하는 경계 트리(EB-tree)를 제안한다. 이는 기밀이나 경쟁적 제약으로 인해 전체 학습 데이터를 공개할 수 없는 상황에서, 최소한의 대표성 있는 학습 데이터 집합을 공개함으로써 이루어진다. 최대 마진 경계 스티칭 알고리즘을 사용하여 EB-tree는 사용자가 예측을 해석할 수 있도록 경로 탐색을 가능하게 하며, 학습 데이터의 0.3% 미만을 공개함으로써 99.5% 이상의 정밀도를 달성하고, 잘못 레이블링된 데이터 및 새로운 클래스의 출현을 효과적으로 탐지할 수 있다.

ABSTRACT

Despite outperforming the human in many tasks, deep neural network models are also criticized for the lack of transparency and interpretability in decision making. The opaqueness results in uncertainty and low confidence when deploying such a model in model sharing scenarios, when the model is developed by a third party. For a supervised machine learning model, sharing training process including training data provides an effective way to gain trust and to better understand model predictions. However, it is not always possible to share all training data due to privacy and policy constraints. In this paper, we propose a method to disclose a small set of training data that is just sufficient for users to get the insight of a complicated model. The method constructs a boundary tree using selected training data and the tree is able to approximate the complicated model with high fidelity. We show that traversing data points in the tree gives users significantly better understanding of the model and paves the way for trustworthy model sharing.

연구 동기 및 목표

• 기밀 또는 경쟁적 제약으로 인해 학습 데이터를 공개할 수 없는 상황에서 공유된 딥 네트워크 모델의 해석 가능성과 신뢰도 부족 문제를 해결하기 위해.
• 모델 사용자가 예측의 이유를 이해할 수 있도록, 소수의 대표성 있는 학습 데이터 서브셋을 통해 의사결정 경계를 공개함으로써.
• 모델 내부나 전체 학습 데이터에 대한 액세스 없이도 복잡한 DNN의 의사결정 경계를 고정밀도로 근사하는 컴act하고 해석 가능한 구조를 개발하기 위해.
• 모델 공유의 실용적 시나리오를 지원하기 위해, 계산 비용을 줄이며 잘못 레이블링된 데이터와 새로운 클래스의 출현을 탐지할 수 있도록 하기 위해.

제안 방법

• 최대 마진 기반 경계 스티칭 알고리즘은 DNN 모델의 의사결정 경계 형성에 기여하는 가장 대표적인 학습 데이터 포인트를 선택한다.
• 선택된 학습 데이터는 각 노드가 학습 포인트를 나타내며, DNN 임bedded 특성 공간 내의 거리 기반으로 구성된 Explicable Boundary Tree(EB-tree)에 정렬된다.
• 트리 탐색을 통해 사용자는 테스트 샘플이 대표성 있는 학습 포인트를 통해 어떤 경로를 따라가는지 추적할 수 있으며, 이로 인해 분류 결정을 이끌어내는 특성 공간 내의 차이를 드러낼 수 있다.
• EB-tree 내 학습 포인트의 신뢰도 값을 활용하여 DNN 의사결정 경계를 모방함으로써, 테스트 샘플의 변형에 의존하지 않고 개념 이동에 대한 민감도를 낮춘다.
• 새로운 클래스 탐지의 경우, EB-tree 내 동일한 탐색 경로를 공유하는 테스트 샘플과 학습 포인트 간의 거리 비교를 기반으로 p-값을 계산하고, 통계적 신규성 평가를 위해 공차 평가(conformal evaluation)를 사용한다.
• EB-tree 구조는 스트리밍 추론 중 관련 학습 데이터 서브셋에만 집중함으로써 거리 계산의 수를 줄여 계산 효율성을 높인다.

실험 결과

연구 질문

• RQ1 복잡한 딥 뉴럴 네트워크의 의사결정 경계를 효과적으로 설명하기 위해 소수의 대표성 있는 학습 데이터 서브셋을 사용할 수 있는가?
• RQ2 선택된 학습 데이터로부터 구성된 트리 구조는 기존의 해석 방법에 비해 사용자가 모델 예측을 이해하는 데 어떤 방식으로 기여하는가?
• RQ3 최소한의 학습 데이터 공개로도 EB-tree가 DNN의 의사결정 경계를 얼마나 정밀하게 근사할 수 있는가?
• RQ4 EB-tree 구조는 스트리밍 데이터에서 잘못 레이블링된 학습 샘플과 새로운 클래스의 출현을 탐지하는 데 사용될 수 있는가?

주요 결과

• EB-tree는 학습 데이터의 0.3% 미만을 사용하여 원래 DNN 모델의 예측을 99.5% 이상의 정밀도로 근사한다.
• 인간 피LOT 연구를 통해 EB-tree를 통해 테스트 샘플을 탐색하는 것이 DNN 예측의 생성 원리를 이해하는 데 사용자 이해도를 크게 향상시킨 것으로 확인되었다.
• EB-tree 내 의사결정 경계 근처에서 위치한 점들을 통해 잘못 레이블링된 MNIST 샘플(예: '9'가 '3'이나 '5'로 잘못 레이블링된 경우)을 성공적으로 탐지하였다.
• 새로운 클래스 탐지의 경우, EB-tree는 스트림 내에서 미리보지 않은 '9' 클래스 샘플을 99.1%의 정확도로 탐지하였으며, 기준 방법 대비 계산 비용을 97.1% 감소시켰다.
• EB-tree는 트리 내 동일한 탐색 경로를 공유하는 학습 포인트에 한해 거리 계산을 제한함으로써 효율적인 새로운 클래스 탐지가 가능하게 한다.