[논문 리뷰] Interpretable Active Learning

Richard L. Phillips, Kyu Hyun Chang외 1명|arXiv (Cornell University)|2017. 07. 31.

Machine Learning and Algorithms참고 문헌 14인용 수 11

한 줄 요약

이 논문은 LIME 기반 설명을 사용하여 활성 학습 쿼리의 해석을 가능하게 하고, 불확실성 편향을 정량적 측정값으로 도입하여 모델의 불확실성에 대한 하위군 간 격차를 추적한다. 개별 쿼리에 대한 불확실성 설명을 생성하고 공통된 불확실성 원인을 기반으로 점들을 군집화함으로써, 이 방법은 도메인 전문가가 특정 샘플이 왜 선택되었는지 이해할 수 있도록 하며, 시간이 지남에 따라 보호받는 또는 의미 있는 하위군 내에서 불확실성이 어떻게 해소되는지 추적할 수 있다.

ABSTRACT

Active learning has long been a topic of study in machine learning. However, as increasingly complex and opaque models have become standard practice, the process of active learning, too, has become more opaque. There has been little investigation into interpreting what specific trends and patterns an active learning strategy may be exploring. This work expands on the Local Interpretable Model-agnostic Explanations framework (LIME) to provide explanations for active learning recommendations. We demonstrate how LIME can be used to generate locally faithful explanations for an active learning strategy, and how these explanations can be used to understand how different models and datasets explore a problem space over time. In order to quantify the per-subgroup differences in how an active learning strategy queries spatial regions, we introduce a notion of uncertainty bias (based on disparate impact) to measure the discrepancy in the confidence for a model's predictions between one subgroup and another. Using the uncertainty bias measure, we show that our query explanations accurately reflect the subgroup focus of the active learning queries, allowing for an interpretable explanation of what is being learned as points with similar sources of uncertainty have their uncertainty bias resolved. We demonstrate that this technique can be applied to track uncertainty bias over user-defined clusters or automatically generated clusters based on the source of uncertainty.

연구 동기 및 목표

• 도메인 전문가가 이해할 수 있도록 활성 학습 쿼리에 대한 국소적이고 개별 샘플 수준의 불확실성 설명을 제공함으로써 활성 학습 쿼리의 해석 가능성을 높이기.
• 불확실성 편향이라는 새로운 메트릭을 정의하여, 불확실성 편향의 개념을 '차별적 영향'에서 영감을 얻어 하위군 간 모델의 불확실성 격차를 정량화하기.
• 전문가가 어떤 데이터 군집이 탐색되고 있으며 왜 그런지 이해할 수 있도록 하여 활성 학습을 평가하고 이끌 수 있도록 하기.
• 불확실성 편향이 복잡한 실제 데이터셋에서 특히 높은 불확실성의 하위군에 집중하는 활성 학습의 초점을 정확하게 반영함을 보여주기.
• 비용이 많이 들기 때문에 레이블링이 어려운 상황에서 전문가 피드백과 의사결정 지원을 위해 쿼리 선택과 설명 가능한 불확실성 패턴을 연결하기.

제안 방법

• 개별 활성 학습 쿼리에 대해 국소적이고 충실한 설명을 생성하기 위해 LIME을 수정하여, 예측 불확실성에 가장 기여하는 특성들을 식별하기.
• 불확실성 편향을 하위군과 전체 인구집단 간 모델의 자신감의 절대 차이로 정의하여, 쿼리 선택 시 잠재적인 체계적 편향을 측정하기.
• 사용자가 정의한 또는 자동으로 생성된 군집을 사용하여 공통된 불확실성 원인(예: 유사한 특성 기여도를 가진) 기반으로 데이터 포인트를 군집화하기.
• 각 레이블링 라운드 이후 군집별로 불확실성 편향을 계산하여 시간에 따른 변화를 추적함으로써, 불확실성이 어떻게 해소되는지 변화를 시각화하기.
• 특성 기여도의 차이에 대해 2% 이론을 기준으로 설정하여, 어떤 특성이 불확실성 설명에서 두드러지는지 결정함으로써 도메인 전문가가 설명의 세밀함을 조절할 수 있도록 하기.
• 실제 세계의 고차원적이고 도메인 특화된 특성을 가진 데이터셋(ProPublica 및 Dark Reactions)에 이 프레임워크를 적용하여, 설명 가능성과 편향 추적의 유효성을 검증하기.

실험 결과

연구 질문

• RQ1 어떻게 하면 도메인 전문가가 이해할 수 있는 방식으로 활성 학습 쿼리를 설명할 수 있는가?
• RQ2 활동 학습 전략이 높은 불확실성을 가진 하위군에 비해 과도하게 집중하는 정도는 어느 정도이며, 이를 어떻게 정량화할 수 있는가?
• RQ3 불확실성 편향은 활성 학습 과정에서 하위군 간 모델 불확실성 격차를 신뢰할 만한 메트릭으로 사용할 수 있는가?
• RQ4 특성 수준의 불확실성 설명은 전문가가 쿼리 선택 과정을 이해하고 이끌 수 있도록 어떻게 기여하는가?
• RQ5 불확실성 원인 기반으로 자동 생성된 군집은 학습 궤적에 대해 의미 있고 이해 가능한 통찰을 제공할 수 있는가?

주요 결과

• 불확실성 편향 메트릭은 하위군 간 모델 자신감 격차를 성공적으로 정량화하여, 활성 학습 쿼리가 높은 불확실성을 가진 군집에 체계적으로 더 많이 대응함을 드러냈다.
• ProPublica 데이터셋에서 상위 6개의 레이블링된 군집은 불확실성 편향에 명확한 패턴을 보였으며, 가장 많이 쿼리된 군집은 가장 높은 편향을 보여, 고불확실성 영역에 대한 목표 지향적 탐색을 확인했다.
• Dark Reactions 데이터셋에서는 274개의 특성이 분석되었고, 대부분의 군집에서 최소한 하나의 주요 불확실성 원인이(2% 기준 초과) 존재했으며, 일부 군집은 매우 다양하게 분포된 불확실성 원인을 보여, 복잡하고 다차원적인 불확실성의 특성을 반영했다.
• Dark Reactions 데이터셋에서 가장 많이 탐색된 군집은 단일한 지배적 특성이 없었으며, 이는 높은 불확실성 다양성을 의미했고, 유사한 불확실성 원인을 공유하는 다른 군집들은 함께 탐색되어 쿼리 집중의 일관성을 확인했다.
• 전문가 검증을 통해 도출된 직관과 설명이 일치했다: 장시간 지속되며 중간 정도의 온도를 가진 반응은 성공 가능성이 있지만 실패율이 높아 불확실성 편향이 높았고, 반면 짧은 반응은 더 예측 가능했다.
• 이 방법은 2% 기준을 통해 전문가가 설명의 세밀함을 조절할 수 있도록 하여, 본질적으로 해석 가능한 특성에 의존하지 않고도 불확실성 원인에 대한 더 구체적 또는 더 개괄적인 통찰을 제공할 수 있도록 했다.