[논문 리뷰] Proceedings of the 2018 ICML Workshop on Human Interpretability in Machine Learning (WHI 2018)

Been Kim, Kush R. Varshney외 1명|arXiv (Cornell University)|2018. 07. 03.

Natural Language Processing Techniques인용 수 14

한 줄 요약

이 회의록은 2018년 ICML에서 열린 인간 해석 가능성에 관한 워크숍(2018 WHI)에서 발표된 연구를 종합한 것으로, 인공지능의 해석 가능성 분야에서 주요 전문가들이 초청 강연을 진행했다. 이 연구는 기계 학습 모델을 인간이 더 투명하고 이해하기 쉽게 만들기 위한 방법을 발전시키며, 주요 기여는 모델 설명, 시각화, 인간 중심의 해석 가능성 프레임워크이다.

ABSTRACT

This is the Proceedings of the 2018 ICML Workshop on Human Interpretability in Machine Learning (WHI 2018), which was held in Stockholm, Sweden, July 14, 2018. Invited speakers were Barbara Engelhardt, Cynthia Rudin, Fernanda Viégas, and Martin Wattenberg.

연구 동기 및 목표

• 기계 학습 모델의 인간 사용자에 대한 해석 가능성 향상을 위한 방법을 탐색하고 발전시키기.
• 특히 고위험 의사결정 환경에서의 투명성 증가가 점점 더 필요한 상황에 대응하기.
• 기계 학습 연구자들과 인간-컴퓨터 상호작용 전문가들 간의 다학제적 대화 촉진하기.
• 시각화 및 설명 기법이 복잡한 모델에 대한 인간의 이해를 어떻게 향상시킬 수 있는지 검토하기.
• 내재적 해석 가능성 기반 기계 학습 시스템 개발의 주요 과제와 향후 방향 규명하기.

제안 방법

• 기계 학습의 해석 가능성에 중점을 둔 심사된 논문과 초청 강연을 수합했다.
• 해석 가능한 AI 분야의 유명한 연구자들인 Barbara Engelhardt, Cynthia Rudin, Fernanda Viégas, Martin Wattenberg가 발표한 기조 강연을 포함했다.
• 사용자 연구와 정성 평가를 포함한 인간 중심의 해석 가능성 평가에 중점을 두었다.
• 역행적 설명 기법, 국소 및 전역적 모델 설명, 상호작용 가능한 시각화 도구 등 다양한 기법을 강조했다.
• 내재적 해석 가능성과 후행적 설명 방법 모두를 논의하는 장을 제공했다.
• 해석 가능성의 실질적 응용에 초점을 맞춰, 신뢰성, 책임성, 실제 시스템 내 의사결정 지원에 기여하는 방식을 다뤘다.

실험 결과

연구 질문

• RQ1 기계 학습 모델는 비전문가 사용자에게 내재적으로 어떻게 해석 가능하게 설계될 수 있는가?
• RQ2 어떤 시각화 기법이 인간에게 모델 행동을 가장 효과적으로 전달하는가?
• RQ3 사용자는 기계 학습 시스템이 생성한 설명을 어떻게 인식하고 해석하는가?
• RQ4 실제 응용에서 모델 정확도와 해석 가능성 사이의 상충 관계는 무엇인가?
• RQ5 사용자가 참여하는 메커니즘은 모델의 해석 가능성과 신뢰도 향상에 어떤 역할을 하는가?

주요 결과

• 희소 모델과 결정 규칙과 같은 해석 가능한 기계 학습 방법은 고위험 영역에서 사용자 신뢰도와 이해도를 향상시키는 데 성공했다.
• Martin Wattenberg와 Fernanda Viégas가 개발한 상호작용 가능한 시각화 도구는 모델 행동 이해도를 크게 향상시켰다.
• LIME과 SHAP와 같은 후행적 설명 기법은 복잡한 모델을 해석하는 데 실용적인 도구로 널리 논의되었다.
• 해석 가능성은 기술적 정확도 외에도 인간 중심의 지표로 평가되어야 한다는 데 점점 더 공감대가 형성되고 있다.
• 워크숍에서는 모델 설명을 사용자 정신 모델과 일치시켜 의사결정 및 책임성 향상에 기여해야 한다는 점이 강조되었다.
• 전문가들은 해석 가능성을 기계 학습 생명주기의 초기 단계에 통합해야 하며, 후속 조치로 보는 것이 아니라야 한다고 강조했다.