[논문 리뷰] Hide-and-Seek: A Template for Explainable AI

Thanos Tagaris, Andreas Stafylopatis|arXiv (Cornell University)|2020. 04. 30.

Explainable Artificial Intelligence (XAI)참고 문헌 61인용 수 6

한 줄 요약

이 논문은 '찾기와 숨기기(Hide-and-Seek, HnS)'라는 새로운 프레임워크를 소개한다. 이 프레임워크는 '찾는이(seeker)'라고 불리는 신경망이 분류 작업을 수행하도록 훈련시키는 동안, 두 번째 신경망('숨기는이(hider)')이 불필요한 입력 영역을 마스킹하도록 훈련시키는 방식이다. 분류 정확도와 입력 마스킹을 함께 최적화함으로써 HnS는 예측 성능을 희생시키지 않은 채 높은 해석 가능성(해석 가능성)을 달성한다. 이는 충실도(fidelity)와 해석 가능성 사이에 본질적인 갈등이 존재하지 않음을 보여준다.

ABSTRACT

Lack of transparency has been the Achilles heal of Neural Networks and their wider adoption in industry. Despite significant interest this shortcoming has not been adequately addressed. This study proposes a novel framework called Hide-and-Seek (HnS) for training Interpretable Neural Networks and establishes a theoretical foundation for exploring and comparing similar ideas. Extensive experimentation indicates that a high degree of interpretability can be imputed into Neural Networks, without sacrificing their predictive power.

연구 동기 및 목표

• 딥 뉴럴 네트워크의 해석 가능성 부족 문제, 특히 비전 및 자연어 처리 응용 분야에서의 문제를 해결하기 위해.
• 예측 성능을 훼손시키지 않으면서도 높은 해석 가능성을 보장하는 프레임워크를 개발하기 위해.
• 신경망에서 충실도와 해석 가능성을 측정하고 균형을 이루는 데 이론적 및 실증적 기반을 마련하기 위해.
• 결정적 대비 확률적 마스킹 전략이 모델의 안정성과 해석 가능성에 미치는 영향을 탐색하기 위해.
• 비전, 자연어 처리, 구조적 데이터 작업 전반에 적용 가능한 일반화 가능한 템플릿을 제공하기 위해.

제안 방법

• HnS 프레임워크는 두 개의 신경망을 사용한다: 분류를 위한 '찾는이(seeker)'와 입력 특징을 마스킹하기 위한 '숨기는이(hider)'이다.
• 숨기는이는 불필요한 입력 영역를 식별하고 마스킹하도록 훈련되며, 찾는이는 남아있는 가시 특징을 기반으로 분류한다.
• 분류 손실과 마스킹 손실을 조합한 공동 손실 함수를 사용하며, 충실도와 해석 가능성 간 균형을 맞추기 위해 가변 가중치를 적용한다.
• 입력 마스크 생성을 위해 결정적 및 확률적 임계값 설정을 모두 활용하여 제어된 탐색 또는 이용을 가능하게 한다.
• 해석 가능성은 마스킹된 입력의 비율로 측정되며, 충실도는 분류 정확도로 측정된다.
• 특수 작업에 맞춘 미세조정 없이도 네 개의 이미지 분류 데이터셋에 적용되어 일반화 능력을 입증했다.

실험 결과

연구 질문

• RQ1 분류와 마스킹을 공동 최적화함으로써 신경망이 높은 정확도와 높은 해석 가능성을 동시에 달성할 수 있는가?
• RQ2 신경망에서 충실도와 해석 가능성 간의 상호 보완적 트레이드오프가 일반적으로 가정되는 바가 실제로 타당한가?
• RQ3 결정적 마스킹 전략과 확률적 마스킹 전략은 모델 안정성, 성능, 해석 가능성 측면에서 어떻게 비교되는가?
• RQ4 HnS 프레임워크는 이미지, 텍스트, 구조적 데이터와 같은 다양한 데이터 모odalities로 일반화될 수 있는가?
• RQ5 적응형 손실 가중치는 정확도와 해석 가능성이라는 이중 목표를 균형 있게 조정하는 데 어떤 역할을 하는가?

주요 결과

• HnS 프레임워크는 모든 테스트된 데이터셋에서 기준 수준에 근접한 분류 정확도를 유지하면서도 입력 특징의 최대 90%까지 마스킹함으로써 높은 해석 가능성을 성공적으로 달성했다.
• 이 연구는 충실도-해석 가능성 트레이드오프가 오해일 수 있음을 입증했다: 높은 해석 가능성을 예측 성능의 심각한 손실 없이 달성할 수 있다.
• 확률적 임계값 설정은 마스크 생성 과정에서 더 부드러운 전이를 유도함으로써 더 안정적이고 강건한 훈련을 가능하게 하며, 모델 간 분산이 낮아진다.
• 결정적 임계값 설정은 일부 경우, 특히 작은 데이터셋에서 극단적인 마스킹 솔루션을 선호함으로써 더 높은 해석 가능성을 달성한다.
• 적응형 손실 가중치 기법은 두 목표를 효과적으로 균형 잡으며, 수동적인 하이퍼파rameter 튜닝 없이도 최적의 트레이드오프에 수렴하도록 한다.
• 네 개의 이미지 분류 데이터셋에 대한 실험을 통해 HnS가 특수 작업에 맞춘 미세조정 없이도 잘 일반화됨을 확인하였으며, 이는 그 광범위한 적용 가능성을 뒷받침한다.