[논문 리뷰] Why Interpretability in Machine Learning? An Answer Using Distributed Detection and Data Fusion Theory

Kush R. Varshney, Prashant Khanduri외 3명|arXiv (Cornell University)|2018. 06. 25.

Distributed Sensor Networks and Detection Algorithms참고 문헌 17인용 수 9

한 줄 요약

이 논문은 인간-AI 결정보조 시스템에서 해석 가능한 기계학습 모델이 투명하지 않은 모델보다 성능이 뛰어나다는 점을 주장한다. 인간-기계 협업을 타 tandem 데이터 융합 시스템으로 모델링함으로써, 분산 탐지 이론을 활용해 다수의 양자화 수준(해석 가능한 모델을 나타냄)이 이진 양자화(투명하지 않은 모델을 나타냄)보다 낮은 오류율을 낳음을 증명한다. 이는 융합된 인간-AI 결정보조에서 해석 가능성의 이론적 성능 우월성을 입증한다.

ABSTRACT

As artificial intelligence is increasingly affecting all parts of society and life, there is growing recognition that human interpretability of machine learning models is important. It is often argued that accuracy or other similar generalization performance metrics must be sacrificed in order to gain interpretability. Such arguments, however, fail to acknowledge that the overall decision-making system is composed of two entities: the learned model and a human who fuses together model outputs with his or her own information. As such, the relevant performance criteria should be for the entire system, not just for the machine learning component. In this work, we characterize the performance of such two-node tandem data fusion systems using the theory of distributed detection. In doing so, we work in the population setting and model interpretable learned models as multi-level quantizers. We prove that under our abstraction, the overall system of a human with an interpretable classifier outperforms one with a black box classifier.

연구 동기 및 목표

• 모델 정확도 외의 성능 기준을 고려해 AI 시스템에서의 해석 가능성에 대한 점증적인 수요를 충족시키기 위해.
• 인간-기계 결정보조 과정을 인간이 기계학습 모델의 정보를 융합하는 두 노드로 구성된 타 tandem 센서 네트워크로 모델링하기 위해.
• 해석 가능한 모델(다양한 수준의 양자화로 표현됨)이 투명한 모델보다 전체 시스템의 결정보류 정확도를 향상시키는지 조사하기 위해.
• 인간-기계 협업에서의 해석 가능성에 대한 이론적 기반을 분산 탐지 이론 및 데이터 융합 이론을 활용해 인구집단 설정에서 구축하기 위해.
• 인간-기계 협업에서 성능 평가 기준은 모델의 정확도뿐 아니라 전체 시스템의 성능여야 한다는 것을 입증하기 위해.

제안 방법

• 기계학습 모델이 데이터로부터 학습하고 인간에게 양자화된 출력을 전송하는 두 노드로 구성된 타 tandem 센서 네트워크로 인간-기계 결정보조 시스템을 모델링한다.
• 해석 가능한 모델은 가능도 비율 통계량의 다수 양자화기로 추상화하고, 투명한 모델은 이진 양자화기로 모델링한다.
• 진정한 데이터 분포에 접근할 수 있도록 인구집단 설정을 사용하여 유한 표본 편향 없이 渐近적 성능을 분석할 수 있도록 한다.
• Chernoff 정보를 성능 지표로 사용하여 다양한 양자화 수준의 시스템 수준 오류율을 비교한다.
• 분산 탐지 이론의 결과(예: Varshney, 1997; Zhu & Chen, 2013)를 활용하여 충분 통계량을 양자화하는 것이 최적의 추론 성능을 유지함을 보여준다.
• 두 개 이상의 양자화 수준을 가진 시스템이 더 높은 Chernoff 정보를 달성함을 증명하여, 최종 인간 결정보조에서 더 낮은 베이즈 오류율을 의미함을 입증한다.

실험 결과

연구 질문

• RQ1 해석 가능한 기계학습 모델을 사용할 경우 투명한 모델 대비 인간-AI 결정보조 시스템의 전체 성능이 향상되는가?
• RQ2 모델 출력의 양자화 수준 수가 인간-AI 타 융합 아키텍처에서 시스템 수준의 오류율에 어떤 영향을 미치는가?
• RQ3 분산 탐지 이론을 활용해 인간-기계 협업에서 해석 가능한 모델의 성능 우월성을 공식적으로 기술할 수 있는가?
• RQ4 인간과 모델의 관측이 조건부로 독립일 경우 해석 가능성의 성능 향상은 견고한가?
• RQ5 인구집단 설정이 해석 가능한 모델과 투명한 모델 간 이론적 비교의 타당성에 어떤 영향을 미치는가?

주요 결과

• 해석 가능한 모델은 다수의 양자화 수준을 가진 양자화기로 모델링되었을 때, 이진 양자화를 사용하는 투명한 모델보다 클래스 조건부 분포 간의 Chernoff 정보가 더 높다.
• 더 높은 Chernoff 정보는 전체 인간-AI 시스템에서 더 낮은 베이즈 오류율을 의미하며, 이는 해석 가능한 모델이 더 높은 시스템 수준 성능을 달성함을 입증한다.
• 인간과 기계 간 관측이 조건부로 독립일 경우 성립하는 가정 하에 이 이론적 우월성이 유지되며, 종속된 경우에도 동일한 결과가 확장될 것이라 추측된다.
• 인구집단 설정 덕분에 충분 통계량을 양자화하는 것과 원시 특징을 양자화하는 것이 동치가 되며, 이는 유한 표본 효과에 의해 편향되지 않는 성능 비교가 가능함을 보장한다.
• 해석 가능성의 성능 향상은 모델의 정확도 자체 때문이 아니라, 더 풍부한 정보 전달이 인간의 융합 능력을 향상시키기 때문에 발생함을 분석이 보여준다.
• 결과적으로, 동일한 모델의 내재 정확도를 가진 경우라도 인간은 다수의 출력 수준을 받을 경우 더 나은 추론과 정보 통합 능력을 발휘함을 시사한다.