[논문 리뷰] Adding Semantic Information into Data Models by Learning Domain Expertise from User Interaction

Nathan O. Hodas, Alex Endert|arXiv (Cornell University)|2016. 04. 06.

Data Visualization and Analytics참고 문헌 4인용 수 8

한 줄 요약

이 논문은 사용자 상호작용을 통해 정서적 특징을 학습하는 시각적 분석 시스템인 ActiveCanvas를 제시한다. 사용자들이 데이터 항목의 공간 배치를 통해 정신 모델을 추론함으로써, 정보 이론적 최적화를 통해 이미지 위치를 정밀화하고 사용자가 정의한 정서적 차원을 추출함으로써 새로운 의미 있는 특징을 생성한다. 이는 이미지 분류를 향상시키고 의미 파악을 가속화하며, 사용자가 90초 이내로 의미 있는 클러스터링을 달성할 수 있도록 한다.

ABSTRACT

Interactive visual analytic systems enable users to discover insights from complex data. Users can express and test hypotheses via user interaction, leveraging their domain expertise and prior knowledge to guide and steer the analytic models in the system. For example, semantic interaction techniques enable systems to learn from the user's interactions and steer the underlying analytic models based on the user's analytical reasoning. However, an open challenge is how to not only steer models based on the dimensions or features of the data, but how to add dimensions or attributes to the data based on the domain expertise of the user. In this paper, we present a technique for inferring and appending dimensions onto the dataset based on the prior expertise of the user expressed via user interactions. Our technique enables users to directly manipulate a spatial organization of data, from which both the dimensions of the data are weighted, and also dimensions created to represent the prior knowledge the user brings to the system. We describe this technique and demonstrate its utility via a use case.

연구 동기 및 목표

• 기존 특징 공간을 초월하여 사용자 도메인 전문 지식을 데이터 모델에 통합하는 데 도전하는 것.
• 사용자 상호작용 중 잠재된 정신 모델을 기반으로 시각적 분석 시스템이 새로운 정서적 차원을 추론하고 첨부할 수 있도록 하는 것.
• 사용자가 제공한 공간적 배열을 학습 가능한 특징으로 활용하여 의미 파악과 분류를 가속화하는 것.
• 사용자가 생성한 공간 레이아웃이 어떻게 재사용 가능한 의미 있는 데이터 특징으로 변환될 수 있는지 탐색하는 것.

제안 방법

• 사용자가 자신의 정신 모델에 따라 이미지를 배치하는 2차원 캔버스를 사용하는 시스템으로, 공간적 밀도를 통해 도메인 전문 지식을 암묵적으로 코딩한다.
• ActiveCanvas는 사용자가 배열한 위치와 기초 데이터 특징 간 상호정보를 최대화함으로써 정보 이론적 최적화를 적용한다.
• 접촉된 항목의 정밀화된 위치를 기반으로 미접촉된 이미지의 위치를 예측하기 위해 RBF-SVM을 활용한다.
• 사용자 피드백을 반복적으로 활용하여 배열을 정교화함으로써 사용자의 잠재된 정신 모델과의 일치도를 향상시킨다.
• 최종 사용자 배열은 새로운 정서적 특징으로 확정되며, 이는 사용자가 유도한 차원을 포함하도록 데이터 모델을 확장한다.
• 시스템은 능동적 사용자와 수동적 사용자 모두를 지원하며, 게으른 사용자는 이전 사용자가 레이블을 지정한 공간 배열에서 유용성을 얻는다.

실험 결과

연구 질문

• RQ1 시각적 분석 시스템은 원래 데이터 특징에 존재하지 않는 정서적 차원을 어떻게 추론하고 코딩할 수 있는가?
• RQ2 캔버스 상의 사용자 공간 배열이 도메인 특화 정신 모델을 어느 정도 반영하고 유지할 수 있는가?
• RQ3 정보 이론적 방법이 사용자가 정의한 정서적 관계에 맞게 이미지 위치를 최적화하는 데 얼마나 효과적인가?
• RQ4 다양한 사용자와 작업 간에 사용자가 생성한 공간 특징의 확장성과 재사용 가능성은 어떠한가?

주요 결과

• 사용자들은 ActiveCanvas를 사용해 20개의 이미지를 90초 이내로 의미 있는 클러스터링에 성공하여 빠른 의미 파악을 입증했다.
• 시스템은 사용자 공간 배열에서 '동물', '실외', '밝은 배경'과 같은 정서적 차원을 성공적으로 추론했다.
• 상호정보 최대화 기법을 통해 시스템은 사용자의 잠재된 정신 모델을 더 잘 반영하도록 이미지 위치를 정밀화할 수 있었다.
• 사용자가 제공한 공간 배열은 향후 분류 작업을 위한 재사용 가능한 정서적 특징으로 성공적으로 변환되었다.
• 시스템은 정확도가 떨어지는 사용자 입력에도 강건하게 작동하여, 새로운 사용자가 이전 사용자의 레이블이 지정된 배열에서 유용성을 얻을 수 있었다.