[논문 리뷰] Proceedings of the 2016 ICML Workshop on Human Interpretability in Machine Learning (WHI 2016)

Been Kim, Dmitry Malioutov외 1명|arXiv (Cornell University)|2016. 07. 08.

Natural Language Processing Techniques인용 수 24

한 줄 요약

이 논문은 2016년 ICML에서 열린 인간 해석 가능성에 관한 워크숍(2016 ICML Human Interpretability in Machine Learning 워크숍, WHI 2016)의 기록이며, 기계 학습 모델을 인간이 더 투명하고 이해하기 쉽게 만들기 위한 도전과 기회에 대해 주요 연구자들이 초청 강연을 진행했다. 주요 기여는 기계 학습 시스템에서의 해석 가능성에 관한 기초적 통찰과 새로운 연구 방향의 수집이다.

ABSTRACT

This is the Proceedings of the 2016 ICML Workshop on Human Interpretability in Machine Learning (WHI 2016), which was held in New York, NY, June 23, 2016. Invited speakers were Susan Athey, Rich Caruana, Jacob Feldman, Percy Liang, and Hanna Wallach.

연구 동기 및 목표

• 모델이 점점 더 복잡하고 의사결정 과정에 널리 활용되면서 기계 학습에서의 해석 가능성에 대한 수요가 증가하고 있음을 고려하여 이를 해결하고자 한다.
• 기계 학습 시스템이 인간 사용자에게 더 투명하고 신뢰할 수 있으며 이해하기 쉽게 설계될 수 있는 방법을 탐색하고자 한다.
• 연구자들과 실무자들이 해석 가능성의 과제를 논의하고 핵심 연구 방향을 도출하고자 한다.
• 의료, 정책, 교육과 같은 고위험 분야에서 해석 가능성의 역할을 검토하고자 한다.
• 기계 학습 모델의 해석 가능성 평가 및 향상에 공통된 프레임워크를 구축하고자 한다.

제안 방법

• 2016년 국제 기계 학습 학회(ICML)에서 해석 가능성 및 인간 중심 기반 기계 학습 전문가들을 모아 워크숍를 개최하였다.
• 수잔 아테이, 리치 카루아나, 잭브 필드먼, 퍼시 리앙, 한나 월라크 등 주요 연구자들을 초청하여 해석 가능성 주제에 대해 발표하도록 하였다.
• 초청 강연, 패anel 토론, 해석 가능성 과제 및 해결책에 관한 발표를 통해 토론을 촉진하였다.
• 워크숍에서 도출된 통찰과 새로운 연구 방향을 정리하여 해석 가능성 연구 공동체의 기초 자료로 활용할 수 있도록 하였다.
• 해석 가능한 모델 개발을 이끄는 데 인간 중심 설계 원칙에 초점을 맞추었다.
• 다양한 적용 분야에서 실용적이고 이론적인 해석 가능성 접근법을 강조하였다.

실험 결과

연구 질문

• RQ1 실제 응용에서 비전문가 사용자가 사용하는 기계 학습 모델은 어떻게 더 해석 가능하게 만들 수 있는가?
• RQ2 예측 성능을 희생시키지 않고도 해석 가능한 모델을 설계하는 데 있어 핵심 과제는 무엇인가?
• RQ3 사용자는 실질적으로 해석 가능한 기계 학습 시스템을 어떻게 인식하고 상호작용하는가?
• RQ4 기계 학습 시스템의 신뢰성과 책임성 확보에 있어 해석 가능성은 어떤 역할을 하는가?
• RQ5 기계 학습에서 해석 가능성 평가에 가장 효과적인 지표와 평가 프레임워크는 무엇인가?

주요 결과

• 특히 의료, 정책 등 고위험 분야에서 신뢰를 구축하기 위해 해석 가능성은 필수적이다.
• 해석 가능성은 설계 과정의 초도 단계에서 통합되어야 한다는 데에 점점 더 공감대가 형성되고 있다. 후속 조치로 간주하는 것은 바람직하지 않다.
• 사용자 요구, 인지 부하, 의사결정 맥락을 이해하는 것이 인간 중심의 해석 가능성에 필수적이다.
• 워크숍에서는 특성 중요도, 반사적 설명, 모델 정밀화 등 다양한 해석 가능성 접근법이 강조되었다.
• 기조 강연자들은 공정성, 책임성, 투명성을 확보하기 위해 해석 가능성의 중요성을 강조하였다.
• 이 논문집은 인간 중심의 해석 가능한 기계 학습 분야에서 지속적인 연구를 위한 기초 자료로 기능한다.