[논문 리뷰] Discovering Blind Spots of Predictive Models: Representations and Policies for Guided Exploration.

Himabindu Lakkaraju, Ece Kamar외 2명|arXiv (Cornell University)|2016. 10. 28.

Machine Learning and Data Classification참고 문헌 20인용 수 7

한 줄 요약

이 논문은 고정된 오라클 쿼리 예산 내에서 예측 모델에서 알 수 없는 오류(고신뢰도의 잘못된 예측)를 탐지하기 위한 모델에 종속되지 않는 프레임워크를 제안한다. 이는 유사도 기반으로 인스턴스를 클러스터링하고, 파artitions 간에 탐색-이용 전략을 적용하여 효율적으로 실패를 식별하는 이중 단계 접근법을 사용한다. 이는 이 문제에 대한 최초의 알고리즘적 해결책을 제시한다.

ABSTRACT

Predictive models deployed in the world may assign incorrect labels to instances with high confidence. Such errors or unknown unknowns are rooted in model incompleteness, and typically arise because of the mismatch between training data and the cases seen in the open world. As the models are blind to such errors, input from an oracle is needed to identify these failures. In this paper, we formulate and address the problem of optimizing the discovery of unknown unknowns of any predictive model under a fixed budget, which limits the number of times an oracle can be queried for true labels. We propose a model-agnostic methodology which uses feedback from an oracle to both identify unknown unknowns and to intelligently guide the discovery. We employ a two-phase approach which first organizes the data into multiple partitions based on instance similarity, and then utilizes an explore-exploit strategy for discovering unknown unknowns across these partitions. We demonstrate the efficacy of our framework by varying the underlying causes of unknown unknowns across various applications. To the best of our knowledge, this paper presents the first algorithmic approach to the problem of discovering unknown unknowns of predictive models.

연구 동기 및 목표

• 훈련 데이터와 실제 세계 데이터 간의 분포 이탈로 인해 배포된 예측 모델에서 고신뢰도의 잘못된 예측(알 수 없는 오류)을 식별하는 문제에 대응한다.
• 고정된 오라클 쿼리 예산 하에서 알 수 없는 오류 탐지를 최적화 문제로 재구성한다.
• 오라클 피드백을 실패 탐지뿐만 아니라 향후 탐색을 지능적으로 이끌기 위해 활용하는 방법론을 개발한다.
• 다양한 실제 응용 분야에서 알 수 없는 오류의 근본 원인이 서로 다를 수 있는 상황에서도 체계적이고 효율적인 모델 실패 탐지를 가능하게 한다.

제안 방법

• 유사도 기반으로 입력 공간을 여러 클러스터로 분할하여 의미적 또는 구조적으로 유사한 데이터 포인트를 그룹화한다.
• 실패 가능성이 높은 알 수 없는 오류를 드러내기 위해 가장 가능성 높은 인스턴스를 우선 쿼리하기 위해 클러스터 간에 탐색-이용 전략을 적용한다.
• 오라클의 피드백을 활용하여 모델이 실패 영역에 대한 이해를 향상시키고 탐색 우선순위를 동적으로 업데이트한다.
• 새로운, 샘플링이 부족한 클러스터를 탐색하는 것과 실패 가능성이 높은 기존 클러스터를 활용하는 것 사이의 균형을 유지한다.
• 모델 아키텍처나 학습 과정에 관계없이 어떤 예측 모델에도 적용 가능한 모델에 종속되지 않는 프레임워크를 설계한다.
• 불확실성 추정과 실패 확률 모델링을 통합하여 각 클러스터 내에서 쿼리 선택을 안내한다.

실험 결과

연구 질문

• RQ1 제한된 오라클 쿼리 예산 하에서 예측 모델의 알 수 없는 오류를 어떻게 시스템적으로 탐지할 수 있는가?
• RQ2 무작위 또는 균일 샘플링과 비교했을 때, 클러스터 기반 분할이 알 수 없는 오류 탐지의 효율성을 얼마나 향상시키는가?
• RQ3 클러스터 간 탐색-이용 전략은 단순 탐색과 비교해 어떻게 모델 실패 탐지를 향상시키는가?
• RQ4 제안된 프레임워크는 분포 이탈, 개념 드프트, 희귀 패턴과 같은 다양한 원인으로 인한 알 수 없는 오류에 대해 일반화 가능한가?
• RQ5 피드백 기반 적응이 알 수 없는 오류 탐지의 속도와 정확도에 미치는 영향은 무엇인가?

주요 결과

• 제안된 프레임워크는 기준 무작위 및 균일 샘플링 전략에 비해 알 수 없는 오류 탐지 효율성에서 뚜렷한 향상을 보였다.
• 클러스터 기반 분할은 유사한 인스턴스를 그룹화함으로써 실패가 발생하기 쉬운 영역을 더 효과적으로 타겟팅하여 중복 쿼리를 줄였다.
• 탐색-이용 전략은 높은 잠재력이 있는 클러스터를 동적으로 우선순위로 지정함으로써 실패 패tern에 더 빨리 수렴하게 했다.
• 분포 이탈 및 희귀 클래스 인스턴스 등 다양한 원인으로 인한 알 수 없는 오류가 존재하는 다양한 응용 분야에서 강건성을 입증했다.
• 기존에는 탐지되지 않았을 고신뢰도의 잘못된 예측을 성공적으로 식별하여, 모델 신뢰도 향상에 기여한다는 점을 입증했다.
• 저자들의 지식으로는 이는 예측 모델에서 알 수 없는 오류를 체계적으로 탐지하기 위한 최초의 알고리즘적 접근법으로, 모델 불확실성 및 신뢰성 연구 분야에 기초적인 기여를 한다.