[논문 리뷰] The Need for Interpretable Features: Motivation and Taxonomy

Alexandra Zytek, Ignacio Arnaldo외 3명|arXiv (Cornell University)|2022. 02. 23.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 기계학습 모델의 해석 가능성은 그들의 특징에 의해 결정되며, 의미 있는, 이해하기 쉬운, 인간이 사용하는 단어로 표현된, 시뮬레이션 가능한 등의 특징 성질을 체계적으로 분류하는 방법을 제안한다. 이를 통해 실생활의 결정 과정에서 실용적이고 도메인에 맞는 설명을 만들 수 있도록 안내한다. 모델이 사용할 수 있는 특징을 해석 가능한 형태로 변환하기 위해 의미적 구간화와 비표준화 인코딩 등의 변환 기법을 도입하며, 모델 성능과 동등하게 특징의 해석 가능성의 중요성을 강조한다.

ABSTRACT

Through extensive experience developing and explaining machine learning (ML) applications for real-world domains, we have learned that ML models are only as interpretable as their features. Even simple, highly interpretable model types such as regression models can be difficult or impossible to understand if they use uninterpretable features. Different users, especially those using ML models for decision-making in their domains, may require different levels and types of feature interpretability. Furthermore, based on our experiences, we claim that the term "interpretable feature" is not specific nor detailed enough to capture the full extent to which features impact the usefulness of ML explanations. In this paper, we motivate and discuss three key lessons: 1) more attention should be given to what we refer to as the interpretable feature space, or the state of features that are useful to domain experts taking real-world actions, 2) a formal taxonomy is needed of the feature properties that may be required by these domain experts (we propose a partial taxonomy in this paper), and 3) transforms that take data from the model-ready state to an interpretable form are just as essential as traditional ML transforms that prepare features for the model.

연구 동기 및 목표

• 실생활 기계학습 응용에서 비기술적 도메인 전문가가 특징을 진정으로 이해할 수 있도록 하는 요소를 이해하는 데에 미치는 격차를 해결하기 위해.
• 모델의 해석 가능성은 모델 아키텍처뿐 아니라 입력 특징의 해석 가능성에 의해 본질적으로 제한된다는 주장을 펼치기 위해.
• 다양한 도메인에서 사용 가능한 가용성과 관련된 특징 성질(예: 의미 있는, 이해하기 쉬운, 인간이 사용하는 단어로 표현된 등)의 공식적인 분류 체계를 개발하기 위해.
• 모델 준비 특징과 해석 가능한 특징 공간 사이의 격차를 메우는 데 핵심적인 역할을 하는 특징 변환 기법(예: 의미적 구간화, 비표준화 인코딩)의 중요성을 강조하기 위해.
• 기계학습 개발의 초점을 모델 성능 자체에서 결정 과정 워크플로우에서 특징의 사용성으로 옮기자고 주장하기 위해.

제안 방법

• 아동 복지, 헬스케어, 사이버보안 등 다양한 도메인에서의 실생활 구현 사례를 바탕으로 해석 가능한 특징 성질의 분류 체계를 제안한다.
• 원시 데이터에서 해석 가능한 특징을 도출하는 데 핵심적인 변환 기법들(예: 의미적 구간화, 범주형 인코딩, 비경고 기반 보간)을 식별한다.
• 사용자 역할(예: 의사결정자, 윤리학자 등)을 특징 성질의 요구 수준과 연결하여, 다양한 이해관계자가 다른 수준의 해석 가능성이 필요로 한다는 점을 보여준다.
• 도메인 전문가가 의미 있고 실천 가능한 특징을 사용할 수 있도록 하는 '해석 가능한 특징 공간'이라는 개념을 도입한다.
• 기존의 정규화나 원-핫 인코딩과 동일한 수준에서 해석 가능한 특징 변환 기법을 머신러닝 파이프라인에 통합할 것을 권고한다.
• 아동 복지, 교육, 사이버보안, 전자 의무기록(EHRs), 위성 모니터링 등 다섯 도메인의 사례 연구를 통해 분류 체계의 실용성을 입증한다.

실험 결과

연구 질문

• RQ1 실생활 기계학습 응용에서 비기술적 도메인 전문가가 특징을 해석하고 유용하게 사용할 수 있도록 하기 위해 특징이 가져야 할 특정 성질은 무엇인가?
• RQ2 의사결정자, 윤리학자, 개발자 등의 다양한 이해관계자 역할은 특징의 해석 가능성에 대해 어떤 다른 수준과 유형의 요구를 가지는가?
• RQ3 모델이 사용할 수 있는 특징을 도메인 전문가가 의미 있고 이해하기 쉬우며 인간이 사용하는 단어로 표현된 특징으로 변환하기 위해 필요한 변환 기법은 무엇인가?
• RQ4 특징 공간의 선택은 기계학습 설명의 정밀도, 개인정보 보호, 성능에 어떤 영향을 미치는가?
• RQ5 해석 가능성, 모델 성능, 데이터 개인정보 보호 사이의 트레이드오프는 기계학습 설명을 위한 특징 설계 시 어떤가?

주요 결과

• 단순한 모델조차도 해석할 수 없는 특징을 사용하면 투명성이 떨어지므로, 모델의 해석 가능성은 특징의 해석 가능성에 의존한다는 점을 입증한다.
• 의사결정자들이 기계학습 전문 지식 없이도 특징을 사용할 수 있도록 하기 위해서는 의미 있고 이해하기 쉬우며 인간이 사용하는 단어로 표현되고 읽기 쉬운 특징이 필요하며, 이는 아동 복지 및 헬스케어 응용 사례에서 입증되었다.
• 의미적 구간화와 비표준화 인코딩 등의 변환 기법은 해석 가능한 특징을 생성하는 데 필수적이며, 반면 원-핫 인코딩이나 표준화된 보간과 같은 모델 준비용 변환 기법은 해석 가능성을 떨어뜨린다.
• 해석 가능한 특징 공간은 단일 상태가 아니라 도메인 전문가의 필요에 맞게 조정된 성질의 스펙트럼이며, 사이버보안과 교육 등 서로 다른 도메인에서는 서로 다른 요구 조건을 가진다.
• 의도적인 특징 설계(예: 민감한 변수를 추상적 개념으로 묶기)는 모델 편향을 숨길 수 있으며, 고위험 응용에서 윤리적 리스크를 초래할 수 있다.
• 해석 가능한 특징을 우선시하는 것은 모델 성능 저하와 개인정보 보호 위협을 초래할 수 있으므로, 특징 설계 시 맥락 인식이 가능한 트레이드오프가 필요하다.