[논문 리뷰] INODE: Building an End-to-End Data Exploration System in Practice [Extended Vision]

Sihem Amer-Yahia, Georgia Koutrika외 26명|arXiv (Cornell University)|2021. 04. 09.

Research Data Management Practices참고 문헌 40인용 수 6

한 줄 요약

INODE는 다양한 과학 분야의 이질적 개방형 데이터셋을 직관적이고 안내형 방식으로 탐색할 수 있도록 기계학습과 의미 기반 기술을 통합한 종단 간 데이터 탐색 시스템을 제안한다. 자연어 질의, 상호작용 시각화, 능동적 사용자 안내를 통합함으로써 다양한 전문 지식 수준의 사용자가 적응형 다중 모odal 접근과 지능형 추천을 통해 통찰을 발견할 수 있도록 지원한다.

ABSTRACT

A full-fledged data exploration system must combine different access modalities with a powerful concept of guiding the user in the exploration process, by being reactive and anticipative both for data discovery and for data linking. Such systems are a real opportunity for our community to cater to users with different domain and data science expertise. We introduce INODE -- an end-to-end data exploration system -- that leverages, on the one hand, Machine Learning and, on the other hand, semantics for the purpose of Data Management (DM). Our vision is to develop a classic unified, comprehensive platform that provides extensive access to open datasets, and we demonstrate it in three significant use cases in the fields of Cancer Biomarker Reearch, Research and Innovation Policy Making, and Astrophysics. INODE offers sustainable services in (a) data modeling and linking, (b) integrated query processing using natural language, (c) guidance, and (d) data exploration through visualization, thus facilitating the user in discovering new insights. We demonstrate that our system is uniquely accessible to a wide range of users from larger scientific communities to the public. Finally, we briefly illustrate how this work paves the way for new research opportunities in DM.

연구 동기 및 목표

• 다양한 기술 전문 지식 수준을 가진 사용자가 복잡하고 이질적인 데이터셋을 직관적이고 다중 모달 인터페이스를 통해 탐색할 수 있도록 지원하는 데 도전한다.
• 기존 관계형 데이터베이스 시스템이 잘 정의된 질의를 전제로 하므로 제한이 있음을 고려해, 데이터 탐색 과정에서 능동적이고 반응적인 안내 기능을 도입함으로써 이를 극복한다.
• 다양한 소스 간의 원활한 데이터 연결 및 통합을 통해 가용 데이터 풀을 동적으로 확장한다.
• 시스템 성능, 질의 품질, 사용자 경험을 종합적으로 평가할 수 있는 통합 평가 프레임워크를 개발한다.
• 실제 과학적 응용 사례인 암 생물마커 연구, 정책 수립, 천체물리학 분야에서 시스템의 접근성과 효과성을 입증한다.

제안 방법

• 사용자 질의를 구조적 데이터 연산으로 매핑하기 위해 자연어 처리(NLP)와 의미 온톨로지 기반 기술을 활용하여 용어의 다의어 제거를 포함한 자연어에서 SQL/SPARQL로의 변환을 실현한다.
• 사용자 피드백과 행동 데이터를 기반으로 탐색 경로와 추천을 생성 및 개선하기 위해 액티브 러닝 및 강화 학습 기반 기계학습 모델을 적용한다.
• 계속적인 탐색과 사용자 중심의 질의 개선을 지원하기 위해 필터 기반 검색과 상호작용 시각화를 통합한다.
• 평가를 위해 시스템 메트릭(지연 시간, 메모리 사용량)과 사용자 상호작용 데이터(클릭 수, 작업 소요 시간, 피드백)를 기록하는 로깅 인fra를 설계한다.
• 사용자 전용 탐색 프로필을 모델링하고 전문 지식 및 데이터 컨텍스트에 따라 안내를 동적으로 조정하기 위해 앙상블 및 다중 작업 학습 기법을 적용한다.
• 통제된 사용자 실험과 설문지를 통해 시스템 수준 메트릭(정밀도, 재현율)과 인간 요소(제어 가능성, 사용자 만족도)를 결합한 다단계 평가 프레임워크를 구축한다.

실험 결과

연구 질문

• RQ1 다양한 데이터 과학 전문 지식 수준의 사용자를 위해 자연어 및 시각 인터페이스를 포함한 다중 접근 모odal을 효과적으로 지원할 수 있는 데이터 탐색 시스템의 설계는 어떻게 이루어질 수 있는가?
• RQ2 기계학습 모델이 상호작용적 데이터 탐색 과정에서 추천의 질과 관련성 향상에 얼마나 기여할 수 있는가?
• RQ3 다단계 및 반복적인 데이터 탐색 워크플로우에서 시스템의 능동성과 사용자 안내 기능을 정량적으로 평가하는 방법은 무엇인가?
• RQ4 경로 다양성과 되돌아가기 등의 사용자 상호작용 패턴이 데이터 탐색 워크플로우의 성능과 사용성에 미치는 영향은 어떠한가?
• RQ5 실제 과학적 응용 사례에서 시스템 성능, 질의 품질, 사용자 경험을 종합적으로 평가할 수 있는 평가 프레임워크는 어떻게 설계할 수 있는가?

주요 결과

• INODE는 암 생물마커 연구, 연구 정책, 천체물리학 분야의 세 가지 주요 과학 분야에서 종단 간 데이터 탐색을 성공적으로 지원하여 전문가 및 비전문가 사용자 모두에게 넓은 접근성을 확보했다.
• 의미 온톨로지와 용어의 다의어 제거 기법을 활용해 자연어에서 SQL/SPARQL로의 변환 정확도를 높여, 사용자가 복잡한 질의를 구성하는 데 소요되는 노력을 줄였다.
• 사용자 연구 결과, 상호작용 횟수의 역수로 측정된 제어 가능성과 사용자 수용도 간에 강한 상관관계가 확인되어, 상호작용 오버헤드를 줄이면 사용자 경험 향상에 기여함을 시사한다.
• 액티브 러닝과 강화 학습의 통합을 통해 시스템은 맥락 인식 추천을 생성하고 사용자 피드백에 기반해 탐색 경로를 동적으로 조정할 수 있었다.
• 로깅 메커니즘이 다단계 탐색 워크플로우 전반에 걸쳐 시스템 메트릭을 세밀하게 수집할 수 있도록 하여, 성능 데이터의 정교한 집계를 가능케 하였다.
• 평가 프레임워크는 시스템 수준의 성능뿐 아니라 인간 요소까지도 성공적으로 캡처하여, 실무에서 지능형 데이터 탐색 시스템을 평가할 수 있는 확장 가능한 모델을 제공하였다.