[논문 리뷰] On Interpretability of Artificial Neural Networks: A Survey

Fenglei Fan, Jinjun Xiong외 2명|arXiv (Cornell University)|2020. 01. 08.

Explainable Artificial Intelligence (XAI)참고 문헌 202인용 수 46

한 줄 요약

이 리뷰는 신경망 해석 가능성의 포괄적 분류를 제공하고, 최근 연구를 조사하며, 의료 응용을 다루고, 향후 방향을 제시한다(예: 퍼지 로직 및 뇌과학).

ABSTRACT

Deep learning as represented by the artificial deep neural networks (DNNs) has achieved great success in many important areas that deal with text, images, videos, graphs, and so on. However, the black-box nature of DNNs has become one of the primary obstacles for their wide acceptance in mission-critical applications such as medical diagnosis and therapy. Due to the huge potential of deep learning, interpreting neural networks has recently attracted much research attention. In this paper, based on our comprehensive taxonomy, we systematically review recent studies in understanding the mechanism of neural networks, describe applications of interpretability especially in medicine, and discuss future directions of interpretability research, such as in relation to fuzzy logic and brain science.

연구 동기 및 목표

• 해석 가능한 신경망 및 방법의 포괄적 분류 체계 제시.
• 신경망 메커니즘을 이해하기 위한 최근 연구를 체계적으로 검토.
• 의학에서의 해석가능성의 활용 사례를 설명하고 요약.
• 향후 연구 방향 및 학제간 연결 고리(예: 퍼지 로직, 뇌과학)에 대해 논의.

제안 방법

• 신경망 해석가능성에 대한 포괄적 분류 체계를 구축한다.
• 신경망을 이해할 수 있는지에 초점을 맞춘 최근 연구를 체계적으로 검토한다.
• 의학에서 해석가능성 기법의 응용을 설명한다.
• 퍼지 로직 및 뇌과학과 같은 학제간 연결을 포함한 잠재적 미래 방향을 논의한다.

실험 결과

연구 질문

• RQ1 신경망에서 어떤 메커니즘이나 표현을 해석하거나 설명할 수 있는가?
• RQ2 해석가능성 방법이 의학 맥락에서 어떻게 적용되고 어떤 이점이 관찰되는가?
• RQ3 향후 해석가능성 연구를 이끄는 주요 격차, 도전과제, 기회는 무엇인가?
• RQ4 해석가능성을 향상시킬 수 있는 잠재적 학제간 연결(예: 퍼지 로직, 뇌과학)은 무엇인가?

주요 결과

• 인공 신경망에서 해석가능성에 대한 포괄적 분류 체계를 제공한다.
• 신경망 메커니즘 이해에 관한 최근 연구를 요약하고 종합한다.
• 해석가능성의 의학적 활용과 시사점을 논의한다.
• 퍼지 로직 및 뇌과학과의 연결을 포함한 향후 방향을 개요한다.