[논문 리뷰] Digital Collaborator: Augmenting Task Abstraction in Visualization Design with Artificial Intelligence

Aditeya Pandey, Yixuan Zhang외 3명|arXiv (Cornell University)|2020. 03. 02.

Data Visualization and Analytics인용 수 4

한 줄 요약

이 논문은 시각화 연구자들이 도메인 특화 목표를 일반화된 이론 기반의 시각화 작업으로 번역하는 작업 추상화를 자동화하고 검증하는 데 도움을 주는 개념적 AI 기반 디지털 동료(Digital Collaborator, DC)를 제안한다. 자연어 처리와 작업 추상화 프레임워크를 활용하여, 인간의 편향을 줄이고 설계 연구의 일관성을 높이기 위해 근거가 뒷받침된 추천을 제공한다.

ABSTRACT

In the task abstraction phase of the visualization design process, including in "design studies", a practitioner maps the observed domain goals to generalizable abstract tasks using visualization theory in order to better understand and address the users needs. We argue that this manual task abstraction process is prone to errors due to designer biases and a lack of domain background and knowledge. Under these circumstances, a collaborator can help validate and provide sanity checks to visualization practitioners during this important task abstraction stage. However, having a human collaborator is not always feasible and may be subject to the same biases and pitfalls. In this paper, we first describe the challenges associated with task abstraction. We then propose a conceptual Digital Collaborator: an artificial intelligence system that aims to help visualization practitioners by augmenting their ability to validate and reason about the output of task abstraction. We also discuss several practical design challenges of designing and implementing such systems

연구 동기 및 목표

• 디자이너의 편향과 지식 격차로 인해 영향을 받는 주관적이고 오류가 발생하기 쉬운 수동적 작업 추상화 과정의 과제를 해결한다.
• 인간 협업자들이 최신 지식가 부족하거나 동일한 인지 편향에 노출될 수 있다는 한계를 극복한다.
• 시각화 전문가가 적절한 작업 추상화 프레임워크를 선택하고 그 추상화를 검증하는 데 도움이 되는 AI 기반 시스템을 개발한다.
• 설명 가능한 출력과 신뢰도 스코어링을 통해 AI 추천의 투명성과 신뢰도를 향상시킨다.
• 다양한 도메인 경험과 시각적 관점이 반영될 수 있도록 AI 지원 작업 추상화에서의 공정성 고려 사항을 탐색한다.

제안 방법

• 연구자들이 인터뷰나 관찰에서 도출한 도메인 특화 목표를 입력할 수 있는 질문-답변 인터페이스를 지능형 개인 보조자(IPA)의 모델로 설계한다.
• 기존의 작업 추상화 프레임워크인 다수 수준 유형 체계, 그래프 작업 분류체계, 계층적 작업 추상화(HTA) 등을 활용해 자연어 처리(NLP)를 통해 입력된 도메인 목표를 일반화된 작업 기술로 매핑한다.
• 입력된 맥락, 데이터 유형, 작업 특성에 기반해 가장 적절한 추상화 프레임워크를 선택하기 위한 프레임워크 특성화 모듈을 구현한다.
• 투명성 향상과 사용자 검증 지원을 위해 근거가 뒷받침된 다수의 대안적 추상화를 생성한다.
• 신뢰도 스코어링과 인간-중심 메커니즘을 통합하여 추천 간 불일치 문제를 해결하고 AI 추천에 대한 신뢰도를 향상시킨다.
• 기존 문헌에서 학습 데이터를 추출하기 위해 웹 크롤러 도구를 활용하며, 데이터 품질 확보와 모순되는 추상화 해결을 위해 인간의 감시를 수행한다.

실험 결과

연구 질문

• RQ1 어떤 도메인 목표에 대해 AI 시스템이 가장 적절한 작업 추상화 프레임워크를 효과적으로 추천할 수 있는가?
• RQ2 AI가 생성한 작업 추상화의 투명성과 사용자 신뢰를 향상시키기 위한 메커니즘은 무엇인가?
• RQ3 AI 기반 시스템은 어떻게 시각화 이론과의 일치를 유지하면서도 작업 추상화에서의 편향을 완화할 수 있는가?
• RQ4 인간-중심 검증은 AI가 생성한 추상화를 정교화하고 향상시키는 데 어떤 역할을 할 수 있는가?
• RQ5 다양한 도메인 경험과 설계 요구사항을 반영하기 위해 공정성과 포용성을 AI 기반 작업 추상화에 어떻게 통합할 수 있는가?

주요 결과

• 제안된 디지털 동료는 기존의 추상화 프레임워크를 활용해 도메인 특화 목표를 일반화된 시각화 작업으로 매핑함으로써 수동적이고 오류가 발생하기 쉬운 과정에 대한 의존도를 줄일 수 있다.
• 근거가 뒷받침된 다수의 대안적 추상화를 제공함으로써 투명성이 향상되고 사용자 검증이 가능해져 전문가들이 AI 추천의 타당성을 평가하는 데 도움이 된다.
• 추천에 대한 신뢰도 스코어링은 사용자 신뢰를 높이고 AI가 생성한 출력의 거부를 줄일 수 있다.
• 스마트 웹 크롤러를 통해 연구 문헌에서 학습 데이터를 수집할 수 있으나, 충돌하는 추상화 등의 데이터 품질 문제는 인간의 감시가 필요하다.
• AI의 공정성 문제, 예를 들어 편향된 데이터셋과 표현 부족 문제는 사전에 해결되어야 하며, 이는 다양한 설계 요구사항과 관점을 수용하는 데 기여한다.
• 이 시스템은 인간 중심 설계 관행을 대체하는 것이 아니라, 최신 이론 기반의 추천을 통해 작업 추상화 단계를 지원함으로써 이를 보완한다.