[논문 리뷰] Identifying Unknown Unknowns in the Open World: Representations and Policies for Guided Exploration

Himabindu Lakkaraju, Ece Kamar외 2명|arXiv (Cornell University)|2016. 10. 28.

Machine Learning and Data Classification인용 수 44

한 줄 요약

이 논문은 모델 아키텍처나 학습 데이터에 접근할 수 없는 블랙박스 환경에서, 특성 유사도와 모델 신뢰도를 기반으로 테스트 공간을 분할하고, 오라클 피드백을 활용한 탐색-이용 전략을 적용하여 알려지지 않은 모델의 오류(고신뢰도이지만 잘못된 예측)를 효율적으로 탐지하는 모델에 종속되지 않는 프레임워크를 제안한다. 이 방법은 최소한의 오라클 질의를 통해 알려지지 않은 오류 탐지 성능을 크게 향상시키며, 운영 중인 모델의 실패 패턴을 해석 가능한 방식으로 제공한다.

ABSTRACT

Predictive models deployed in the real world may assign incorrect labels to instances with high confidence. Such errors or unknown unknowns are rooted in model incompleteness, and typically arise because of the mismatch between training data and the cases encountered at test time. As the models are blind to such errors, input from an oracle is needed to identify these failures. In this paper, we formulate and address the problem of informed discovery of unknown unknowns of any given predictive model where unknown unknowns occur due to systematic biases in the training data. We propose a model-agnostic methodology which uses feedback from an oracle to both identify unknown unknowns and to intelligently guide the discovery. We employ a two-phase approach which first organizes the data into multiple partitions based on the feature similarity of instances and the confidence scores assigned by the predictive model, and then utilizes an explore-exploit strategy for discovering unknown unknowns across these partitions. We demonstrate the efficacy of our framework by varying the underlying causes of unknown unknowns across various applications. To the best of our knowledge, this paper presents the first algorithmic approach to the problem of discovering unknown unknowns of predictive models.

연구 동기 및 목표

• 모델이 실제 환경에서 운영될 때 학습 데이터의 체계적 편향으로 인해 발생하는 고신뢰도이지만 잘못된 예측(알려지지 않은 오류)을 체계적으로 식별하는 데에 초점을 맞춘다.
• 모델 아키텍처나 학습 데이터에 접근할 수 없고, 예측 결과와 신뢰도 점수만을 기반으로 하는 블랙박스 접근법을 개발한다.
• 탐색(새로운 영역 탐색)과 이용(이미 발견된 실패 영역 집중)을 균형 있게 유지하는 효율적이고 적응적인 질의 전략을 설계한다.
• 특성 공간 내에서 고장이 발생하기 쉬운 영역에 대해 설명 가능한, 압축된 기술적 설명을 생성하여 모델 디버깅 및 시스템 설계를 지원한다.
• 의료 및 형사사법과 같은 고위험 분야에서 모델의 완전성 부족을 탐지하기 위한 기초적인 알고리즘 프레임워크를 제공한다.

제안 방법

• 특성과 신뢰도 점수 유사도를 기반으로 유의미한 파artition을 형성하는 목적 함수인 기술적 공간 분할(Descriptive Space Partitioning, DSP)을 제안하며, ln N 근사 보장이 있는 근사 알고리즘을 사용한다.
• 다중 손잡이 슬롯머신 프레임워크를 활용해 파artition 간 오라클 질의를 지도하며, 새로운 영역 탐색과 고수익 실패 영역 이용 간 균형을 유지한다.
• 오라클 피드백을 반복적으로 활용해 검색을 정교화하고, 신뢰도 추정치를 갱신하며, 탐색 확률을 재가중하여 알려지지 않은 오류 밀도가 높은 파artition을 우선순위로 지정한다.
• 특성 유사도와 모델 신뢰도 점수를 이중 기준으로 사용해 고신뢰도 오류를 체계적으로 분리한다.
• 주요 특성 범위와 신뢰도 임계값을 식별하여 인간이 이해할 수 있는 설명을 각 파artition에 대해 생성함으로써 모델 개발자에게 실질적인 통찰을 제공한다.
• 고정된 질의 예산을 가정하며, 각 오라클 레이블을 비용이 많이 드는 자원으로 간주하고, 질의당 알려지지 않은 오류 탐지 최대화를 목표로 한다.

실험 결과

연구 질문

• RQ1 학습 데이터나 아키텍처에 접근할 수 없는 블랙박스 예측 모델에서 알려지지 않은 오류를 어떻게 체계적으로 탐지할 수 있는가?
• RQ2 특성과 신뢰도 점수 유사도를 효과적으로 그룹화하여 고신뢰도 오류가 발생하기 쉬운 영역을 분리하는 데에 적합한 분할 전략은 무엇인가?
• RQ3 제한된 오라클 질의 자원을 효율적으로 할당하여 특성 공간의 다양한 영역에서 알려지지 않은 오류 탐지를 최대화할 수 있는 탐색-이용 메커니즘은 어떻게 설계할 수 있는가?
• RQ4 발견된 파artition는 인간이 이해할 수 있는 방식으로 기술될 수 있는가? 이를 통해 모델 디버깅 및 시스템 수준의 완화 전략을 지원할 수 있는가?
• RQ5 기존의 활성 학습이나 이상치 탐지 기법과 비교해 볼 때, 이 프레임워크는 알려지지 않은 오류 탐지에서 어떤 성능을 보이는가?

주요 결과

• 제안된 기술적 공간 분할(DSP) 방법은 최적의 분할 목적 함수에 대해 ln N 근사치를 확보하여 특성과 신뢰도 측면에서 유사한 인스턴스를 근사 최적의 방식으로 그룹화한다.
• 다이아몬드 알고리즘에 기반한 탐색-이용 전략은 고정된 질의 예산 하에서 무작위 및 균일 샘플링보다 알려지지 않은 오류 탐지 성능에서 뚜렷한 우월성을 보인다.
• 이 프레임워크는 이미지 분류, 자연어 처리, 표 형태 데이터 처리 작업 전반에서 고신뢰도로 잘못된 예측을 탐지하는 데 성공했으며, 색상 기반 편향으로 인해 흰색 개를 고양이로 잘못 분류하는 경우도 포함된다.
• 생성된 파artition는 '고신뢰도, 회색 털, 작은 눈'과 같은 인간이 이해할 수 있는 기술적 설명을 제공하여 실패 패턴과 직접 연결되며, 이는 모델 수정 또는 비활성화에 대한 타겟팅된 조치를 가능하게 한다.
• 이 방법은 블랙박스 환경에서 알려지지 않은 오류 탐지를 위한 첫 번째 알고리즘적 프레임워크로서, 실세계 적용에 적합하고 일반화 가능한 솔루션을 제공한다.
• 실험 결과는 이 프레임워크가 분포 이탈 또는 데이터 편향이 있는 상황에서 기존 전략보다 더 높은 정밀도와 재현율로 알려지지 않은 오류를 탐지함을 입증한다.