[논문 리뷰] GAM Changer: Editing Generalized Additive Models with Interactive Visualization

Zijie J. Wang, Alex Kale외 7명|arXiv (Cornell University)|2021. 12. 06.

Explainable Artificial Intelligence (XAI)인용 수 14

한 줄 요약

GAM Changer는 데이터 과학자와 도메인 전문가가 직관적인 웹 기반 인터페이스를 통해 모델 가중치를 직접 조작하여 일반화된 가산 모델(GAMs)을 책임감 있게 편집할 수 있도록 해주는 오픈소스로, 상호작용 가능한 시각화 시스템이다. 실시간 피드백, 공정성 인식, 취소 가능한 편집 기능을 통합하여 모델 동작을 도메인 지식과 일치시킨다. 이는 의료 분야에서의 비직관적인 위험 예측을 수정함으로써 입증되었으며, 예를 들어 고령 환자에서 폐렴 사망 위험 예측이 부자연스럽게 감소하는 현상과 천식 환자에서 잘못된 보호 효과가 나타나는 문제를 해결하였다.

ABSTRACT

Recent strides in interpretable machine learning (ML) research reveal that models exploit undesirable patterns in the data to make predictions, which potentially causes harms in deployment. However, it is unclear how we can fix these models. We present our ongoing work, GAM Changer, an open-source interactive system to help data scientists and domain experts easily and responsibly edit their Generalized Additive Models (GAMs). With novel visualization techniques, our tool puts interpretability into action -- empowering human users to analyze, validate, and align model behaviors with their knowledge and values. Built using modern web technologies, our tool runs locally in users' computational notebooks or web browsers without requiring extra compute resources, lowering the barrier to creating more responsible ML models. GAM Changer is available at https://interpret.ml/gam-changer.

연구 동기 및 목표

• 해석 가능한 머신러닝의 발전에도 불구하고, 모델 설명이 유해한 데이터 패턴을 드러내지만 실질적인 모델 편집 기회가 부족한 점을 보완하기 위해.
• 도메인 전문가와 데이터 과학자가 도메인 지식이나 윤리적 가치와 어긋나는 잘못된 모델 행동을 수정할 수 있도록 권한을 부여하기 위해.
• 추가 컴퓨팅 자원이 필요 없이 로컬 브라우저 기반으로 모델 편집을 가능하게 하여 책임감 있는 AI의 접근 장벽을 낮추기 위해.
• 취소 가능한 조치와 문서화된 편집 이력 기능을 통해 모델 편집의 투명성과 책임성을 증진하기 위해.
• 해석 가능성에 기반한 직접적인 모델 가중치 조작을 지원함으로써 인간의 전문 지식을 머신러닝 라이프사이클에 통합하기 위해.

제안 방법

• 시스템은 네 개의 패널으로 구성된 인터페이스를 사용한다: GAM 캔버스(특성 영향을 시각적으로 편집하기 위한), 메트릭 패널(실시간 성능 피드백 제공), 특성 패널(상관관계가 있는 특성과 공정성 리스크 식별), 히스토리 패널(편집 기록 추적 및 복구 기능).
• 사용자는 GAM 캔버스에서 드래그 앤 드롭 또는 단일 클릭 조작(예: '보간' 또는 '삭제')을 통해 직접 GAM 가중치를 편집하여 예측 결과를 도메인 지식과 일치시킬 수 있다.
• 웹 어셈블리와 현대 웹 기술을 활용해 노트북이나 브라우저 내에서 로컬에서 실행되며, 저지연, 안전하고 접근 가능한 모델 편집을 보장한다.
• 편집 중 실시간으로 성능 상충과 공정성 영향을 보여주는 연속적인 피드백 메커니즘을 적용한다.
• 시스템은 연속형 및 이산형 특성 모두 편집이 가능하며, 예를 들어 위험 곡선의 보간 또는 오류 있는 영향(예: 천식이 폐렴 사망 위험을 감소시킨다는 잘못된 효과) 제거를 지원한다.
• 편집 내용은 히스토리 패널에 사용자 코멘트와 함께 기록되어, 모델 수정의 감사 가능성과 재현 가능성을 보장한다.

실험 결과

연구 질문

• RQ1 해석 가능성으로 드러나는 해로운 또는 비직관적인 행동을 수정하기 위해 도메인 전문가와 데이터 과학자가 기계학습 모델을 효과적으로 어떻게 편집할 수 있는가?
• RQ2 비전문가 사용자가 복잡한 모델 가중치를 안전하고 투명하게 수정할 수 있도록 하는 상호작용 가능한 시각화 설계 패턴은 무엇인가?
• RQ3 모델 편집을 취소 가능하고 감사 가능하며 도메인 지식과 윤리적 가치와 일치하도록 하기 위해선 어떻게 해야 하는가?
• RQ4 도메인 지식에 기반한 모델 예측 편집 시, 성능과 공정성 간의 상충 관계는 어떻게 되는가?
• RQ5 해석 가능성과 실질적인 모델 수정을 통합함으로써 상호작용 기반 편집 시스템이 책임감 있는 AI를 어떻게 지원할 수 있는가?

주요 결과

• GAM Changer 시스템은 고령 환자에서 폐렴 사망 위험이 감소하는 비직관적인 모델 행동을 도메인 전문가가 성공적으로 수정하는 데 기여하였다. 이는 임상 지식과 어긋나는 현상이었다.
• 사용자가 '보간' 기능을 사용하여 연령 81세에서 87세 사이의 위험 곡선을 선형으로 조정함으로써 예측 위험이 점진적으로 증가하는 임상적으로 타당한 패턴을 확보하였다.
• 시스템은 히스토리 패널의 특성 패널에서 특성 상관관계 분 析를 통해 편집이 고령 환자, 특히 여성에게 더 큰 영향을 미치는 공정성 문제를 식별하였다.
• 천식이 폐렴 사망 위험을 감소시킨다는 잘못된 예측은 천식 특성의 영향을 삭제함으로써 수정되었으며, 천식 환자에 대한 평균 위험 예측이 복귀되었다.
• 편집 후 모델의 성능 지표는 메트릭 패널을 통해 실시간으로 모니터링되었으며, 전체 예측 정확도에 심각한 저하가 발생하지 않았다.
• 시스템의 취소 가능하고 문서화된 편집 워크플로우 덕분에 사용자는 변경 사항을 비교하고 복구하며 정당성을 제시할 수 있었으며, 모델 개발 과정의 투명성과 책임성을 강화하였다.