[논문 리뷰] Visual Analytics in Deep Learning: An Interrogative Survey for the Next Frontiers

Fred Hohman, Minsuk Kahng외 2명|arXiv (Cornell University)|2018. 01. 21.

Data Visualization and Analytics인용 수 15

한 줄 요약

이 논문은 인간 중심의 질문 중심 프레임워크—다섯 가지 W와 How(왜, 누가, 무엇, 어떻게, 언제, 어디서)—를 중심으로 심층 학습에서의 시각적 분석을 체계적으로 조사한다. 이 프레임워크는 모델의 투명성, 편향 탐지, 적대적 공격 분석, 사용자 참여 기반 인사이트를 강조하며, 신뢰할 수 있고 해석 가능한 AI 시스템을 발전시키는 것을 목표로 하며, 최신의 시각화 기법들을 통합하여 심층 신경망의 해석, 디버깅, 개선을 지원한다.

ABSTRACT

Deep learning has recently seen rapid development and received significant attention due to its state-of-the-art performance on previously-thought hard problems. However, because of the internal complexity and nonlinear structure of deep neural networks, the underlying decision making processes for why these models are achieving such performance are challenging and sometimes mystifying to interpret. As deep learning spreads across domains, it is of paramount importance that we equip users of deep learning with tools for understanding when a model works correctly, when it fails, and ultimately how to improve its performance. Standardized toolkits for building neural networks have helped democratize deep learning; visual analytics systems have now been developed to support model explanation, interpretation, debugging, and improvement. We present a survey of the role of visual analytics in deep learning research, which highlights its short yet impactful history and thoroughly summarizes the state-of-the-art using a human-centered interrogative framework, focusing on the Five W's and How (Why, Who, What, How, When, and Where). We conclude by highlighting research directions and open research problems. This survey helps researchers and practitioners in both visual analytics and deep learning to quickly learn key aspects of this young and rapidly growing body of research, whose impact spans a diverse range of domains.

연구 동기 및 목표

• 높은 성능를 보이지만 일반적으로 '검은 상자'로 간주되는 심층 학습 모델에 대한 해석 가능성에 대한 임상적 필요성을 해결하기 위해.
• 다양한 적용 분야에서 모델 이해, 디버깅, 향상에 기여하는 시각화 기법들을 식별하고 체계화하기 위해.
• 시각적 분석이 심층 학습 시스템에서 데이터 편향, 모델 편향, 적대적 공격 취약성을 탐지하는 데서 수행하는 역할을 부각하기 위해.
• 투명성, 공정성, 안전성을 지원함으로써 시각적 분석이 신뢰할 수 있는 AI를 위한 핵심 추진력이 되도록 하기 위해.
• 미해결 문제들과 심층 학습을 위한 시각적 분석 분야의 새로운 방향성을 규명함으로써 향후 연구를 이끌기 위해.

제안 방법

• 다섯 가지 W와 How(왜, 누가, 무엇, 어떻게, 언제, 어디서)를 기반으로 한 인간 중심의 질문 중심 프레임워크를 도입하여 심층 학습에서의 시각화 연구를 체계화하고 분석한다.
• AI, 머신 러닝, 컴퓨터 비전 분야의 주요 학술 컨ferences에서 발표된 다양한 연구를 조사하며, 특성 활성화, 주의 맵, 표현 학습을 위한 시각화 기법들을 포함한다.
• t-SNE 임베딩, 디컨볼루션 네트워크, 상호작용 가능한 페르튜베이션 도구와 같은 상호작용 가능한 시각적 분석 도구를 통합하여 모델 행동을 탐색한다.
• Google의 Facets와 같은 시각화 시스템을 분석하여 데이터셋 점검을 수행하고, 적대적 예제 및 모델 편향 탐지를 위한 도구를 평가한다.
• 인지심리학 및 발달심리학의 통찰을 적용하여 인간의 편향이 시각화에서 어떻게 나타나고 AI 시스템의 의사결정에 어떤 영향을 미치는지 이해한다.
• 상호작용적 조작과 실시간 피드백을 통해 시각화가 적대적 공격 탐지 및 완화에 기여하는 방식을 평가한다.

실험 결과

연구 질문

• RQ1 시각적 분석은 사용자가 심층 학습 모델이 특정 예측을 내리는 이유를 이해하는 데 어떻게 기여할 수 있는가?
• RQ2 심층 학습에서 시각적 분석 도구의 주요 사용자는 누구이며, 개발, 배포, 감사 환경에서 그들의 요구사항은 어떻게 다를까?
• RQ3 특성 활성화, 주의 맵, 표현 공간과 같은 모델 행동을 해석하는 데 가장 효과적인 시각화 유형은 무엇인가?
• RQ4 시각적 분석은 데이터셋, 모델, 인간의 의사결정 과정에서의 편향 탐지 및 완화를 어떻게 지원할 수 있는가?
• RQ5 시각적 분석은 적대적 공격에 대응하고 AI 안전성 및 강건성을 향상시키는 데 어떤 방식으로 기여할 수 있는가?

주요 결과

• 상호작용 가능한 시각화를 통해 학습된 특징, 주의 패턴, 결정 경계를 탐색함으로써 시각적 분석은 모델의 해석 가능성을 크게 향상시킨다.
• 디컨볼루션 네트워크와 t-SNE 임베딩과 같은 기법들은 고차원 표현을 입력 공간으로 다시 매핑함으로써, 다양한 레이어에서 심층 네트워크가 학습하는 특징를 드러낸다.
• 이미지의 페르튜베이션을 허용하는 상호작용 도구들은 미세한 변화가 모델을 어떻게 속일 수 있는지 보여주며, 모델의 취약성과 적대적 취약성에 대한 통찰을 제공한다.
• Google의 Facets와 같은 시각화 시스템은 모델 학습 이전에 데이터 불균형과 분포 편향을 탐지함으로써 데이터 품질과 공정성을 향상시킨다.
• 사용자가 시각화를 이용할 때 발생할 수 있는 인지적 편향을 시각적 분석이 탐지할 수 있으며, 이는 AI 설명 도구에서 편향 인식 설계의 필요성을 시사한다.
• 시각적 분석은 적대적 예제를 탐지하는 것 외에도, 모델 평가 중 실시간 상호작용 피드백을 통해 방어 전략을 안내할 잠재력이 점점 커지고 있다.