[논문 리뷰] Visual Interaction with Deep Learning Models through Collaborative Semantic Inference

Sebastian Gehrmann, Hendrik Strobelt외 3명|arXiv (Cornell University)|2019. 07. 24.

Data Visualization and Analytics인용 수 4

한 줄 요약

이 논문은 모델 확장 잠재 변수(후크)를 통해 모델의 내부 추론을 폭 드러내는 Collaborative Semantic Inference (CSI) 프레임워크를 제안한다. 이는 사용자 피드백을 직관적인 시각적 메타포를 통해 모델의 추론 과정에 통합함으로써, 딥러닝 모델의 제어, 이해, 공동 설계를 가능하게 하여 투명성과 인간-AI 협업을 크게 향상시킨다. 이는 문서 요약 시스템에서 구현된 바 있다.

ABSTRACT

Automation of tasks can have critical consequences when humans lose agency over decision processes. Deep learning models are particularly susceptible since current black-box approaches lack explainable reasoning. We argue that both the visual interface and model structure of deep learning systems need to take into account interaction design. We propose a framework of collaborative semantic inference (CSI) for the co-design of interactions and models to enable visual collaboration between humans and algorithms. The approach exposes the intermediate reasoning process of models which allows semantic interactions with the visual metaphors of a problem, which means that a user can both understand and control parts of the model reasoning process. We demonstrate the feasibility of CSI with a co-designed case study of a document summarization system.

연구 동기 및 목표

• 블랙박스 딥러닝 모델에서 인간의 주도성 부족 문제를 해결하기 위해 모델 추론 과정에 대한 상호작용적이고 시각적인 제어를 가능하게 하기 위해.
• 사용자의 정신 모델과 일치하는 방식으로 중간 추론 단계를 폭 드러내는 시각화 및 모델 아키텍처를 공동 설계하기 위해.
• 사용자가 요약 내용 선택 또는 해제와 같은 직관적인 시각적 상호작용을 통해 모델 결정에 영향을 줄 수 있는 프레임워크를 개발하기 위해.
• 사용자 후처리 편집이 일반적으로 필요로 하는 실제 NLP 작업—문서 요약—에서 CSI의 실현 가능성을 입증하기 위해.
• 시각화, 상호작용 설계, 기계 학습을 통합하는 상호작용 가능하고 설명 가능한 AI 시스템을 체계적으로 공동 설계하는 프로세스를 수립하기 위해.

제안 방법

• 요약 작업에서 콘텐츠 중요도와 같은 중간 추론 결정을 나타내는 데 사용되는 이산 잠재 변수(후크)를 모델 내 제어 포인트로 도입한다.
• 태그 확률 $ p(t|x) $ 를 예측하는 후크 네트워크를 활용하여 입력 단어가 요약에 복사될 가능성을 결정함으로써, 사용자 개입을 우선도를 통해 가능하게 한다.
• 각 입력 단어가 요약에 사용되었는지의 가능성을 추정하기 위해 별도의 역방향 추론 모델을 사용하여 $ p(t_i|x,y) $ 를 계산함으로써 사후 분석을 가능하게 한다.
• 각 입력 단어의 요약 단어와의 정렬 기반으로 문맥 벡터 $ c_i $ 를 계산하기 위해 문맥 기반 단어 표현과 어텐션 메커니즘을 사용한다.
• 다양한 기반 모델과 별도로 훈련되는 미분 가능 헤드를 통해 단어 사용 확률을 모델링한다: $ p(t_i|x,y) = \sigma(W_2 \tanh(W_1[x_i, c_i] + b_1) + b_2) $.
• 사용자가 문단을 시각적으로 선택 취소할 수 있는 시각적 인터페이스를 설계하여, 해당 문단의 모든 단어에 대해 $ p(t) = 0 $ 으로 설정함으로써 모델이 그들을 복사하지 못하도록 한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델을 어떻게 확장하여 인간의 인지 과정과 일치하는 방식으로 중간 추론 단계를 폭 드러낼 수 있는가?
• RQ2 사용자가 추론 중에 모델 결정에 의미 있게 영향을 주고 이해할 수 있도록 하는 시각적 상호작용 패러다임은 무엇인가?
• RQ3 사용자 피드백을 어떻게 모델 내부에 의미적으로 매핑하여 공동 결정을 가능하게 할 수 있는가?
• RQ4 요약을 위한 공동 설계된 인터페이스가 모델 추론을 폭 드러내어 투명성을 향상시키고 후처리 작업을 줄일 수 있는가?
• RQ5 상호작용 가능한 모델 해석을 위해 정방향 및 역방향 추론을 모두 지원하는 시스템을 구축할 때 발생하는 기술적 및 설계 과제는 무엇인가?

주요 결과

• CSI 프레임워크는 사용자가 입력 문단을 시각적으로 선택 취소함으로써 문서 요약에서 모델의 행동을 효과적으로 제어할 수 있도록 하여, 해당 세그먼트의 콘텐츠가 복사되지 않도록 한다.
• 역방향 추론 모델은 사용자가 작성한 요약에 대해서도 $ p(t_i|x,y) $ 를 계산함으로써, 입력 단어 중 어떤 것이 요약에 사용되었는지를 정확히 식별할 수 있다. 이는 학습된 어텐션 기반 메커니즘을 사용한다.
• 잠재 후크를 요약 모델에 통합함으로써, 만약-분석 및 의미적 상호작용이 가능해지며, 예를 들어 사용자 우선도가 다른 경우 모델 출력이 어떻게 변화하는지 테스트할 수 있다.
• 이 시스템은 후크를 통해 중간 추론을 폭 드러내어 모델의 해석 가능성 향상과 NLP 작업에서의 협업형 인간-AI 상호작용 지원에 기여함을 보여준다.
• 공동 설계 과정은 효과적인 CSI가 시각화, 상호작용 설계, 모델 아키텍처 간의 밀접한 통합이 필요하며, 특히 사용자 행동과 모델 내부를 일치시키는 데 중점을 두어야 한다는 점을 드러낸다.