[논문 리뷰] SemTUI: a Framework for the Interactive Semantic Enrichment of Tabular Data

Marco Ripamonti, Flavio De Paoli외 1명|arXiv (Cornell University)|2022. 03. 17.

Data Quality and Management인용 수 4

한 줄 요약

SemTUI는 전문가이든 비전문가이든 사용자가 자동 보정 및 확장 서비스를 통해 표 형태 데이터를 의미적으로 풍부화할 수 있도록 돕는 사용자 우호적이고 상호작용 가능한 프레임워크이다. 인간이 개입하는 정밀 조정 인터페이스를 통해 성능이 향상되었다. 평가 결과, 다양한 사용자 프로필에서 높은 사용성, 효율성, 신뢰성과 함께 사용자 만족도 및 작업 효과성에서 뛰어난 성능을 보였다.

ABSTRACT

The large availability of datasets fosters the use of \acrshort{ml} and \acrshort{ai} technologies to gather insights, study trends, and predict unseen behaviours out of the world of data. Today, gathering and integrating data from different sources is mainly a manual activity that requires the knowledge of expert users at an high cost in terms of both time and money. It is, therefore, necessary to make the process of gathering and linking data from many different sources affordable to make datasets ready to perform the desired analysis. In this work, we propose the development of a comprehensive framework, named SemTUI, to make the enrichment process flexible, complete, and effective through the use of semantics. The approach is to promote fast integration of external services to perform enrichment tasks such as reconciliation and extension; and to provide users with a graphical interface to support additional tasks, such as refinement to correct ambiguous results provided by automatic enrichment algorithms. A task-driven user evaluation proved SemTUI to be understandable, usable, and capable of achieving table enrichment with little effort and time with user tests that involved people with different skills and experiences.

연구 동기 및 목표

• 데이터 과학 워크플로우에서 이질적인 소스 간 수동 데이터 통합의 높은 비용과 복잡성을 해결하기 위해.
• 비전문가 사용자가 직관적인 인터페이스를 통해 의미 풍부화 작업을 수행할 수 있도록 전문 지식 의존도를 줄이기 위해.
• 의미 기반 기술을 활용하여 외부 서비스의 통합을 유연하게 지원함으로써 보정 및 데이터 확장에 활용하기 위해.
• 모호한 결과에 대한 사용자 주도 정밀 조정을 통합함으로써 자동 엔티티 연결의 정확도를 향상시키기 위해.
• 장기적인 유지보수와 재사용을 지원하는 모듈러하고 확장 가능한 아키텍처를 설계하기 위해.

제안 방법

• 프레임워크는 'Transformers'—외부 서비스와 통신하는 플러그인 방식의 구성 요소를 갖춘 모듈러 아키텍처를 채택한다.
• 지식 그래프(예: Wikidata)에 있는 고유 식별자로 표의 엔티티를 매핑하기 위해 의미 기반 기술을 통합함으로써, 다의어 제거 및 표준화를 지원한다.
• 그래픽 사용자 인터페이스(GUI)를 통해 상호작용식 엔티티 연결을 지원하여 사용자가 알고리즘의 제안을 검토, 수락, 거부 또는 정밀 조정할 수 있도록 한다.
• 사용자가 모호하거나 잘못된 매칭을 수정하는 '정밀 조정 작업'을 지원하며, 인간의 통찰력과 알고리즘 제안을 융합한다.
• 사용자는 풍부화 워크플로우를 저장하고 내보내어 유사한 데이터셋에 재사용하거나 최적화된 스크립트로 실행할 수 있다.
• 사용자 경험 평가를 위해 UES(사용자 경험 설문지) 기준을 활용하여 사용성, 만족도 및 인식된 효과성을 평가하였다.

실험 결과

연구 질문

• RQ1 비전문가 사용자에게도 표 형태 데이터의 의미 풍부화를 가능하게 하는 프레임워크는 어떻게 설계할 수 있는가?
• RQ2 상호작용식 인간 주도 정밀 조정은 표 형태 데이터의 자동 엔티티 보정 정확도를 어느 정도 향상시킬 수 있는가?
• RQ3 모듈러하고 서비스 기반 아키텍처는 다양한 외부 데이터 소스의 통합을 위한 풍부화에 얼마나 효과적인가?
• RQ4 다양한 기술적 배경을 가진 사용자들 사이에서 의미 풍부화 도구의 사용성과 사용자 경험은 어떻게 평가되는가?
• RQ5 직관적이고 학습하기 쉬운 프레임워크가 유지보수성과 재사용성을 고려할 때도 높은 효율성과 신뢰성을 달성할 수 있는가?

주요 결과

• UEQ 사용성 기준에서 SemTUI는 효율성, 신뢰성, 자극성에서 뛰어난 점수를 기록하여 높은 사용자 성능과 시스템 신뢰성을 나타냈다.
• 매력성과 신선함에서는 '좋음' 평가를 받았고, 명료성에서는 '평균 이하' 평가를 받아 명확성과 학습 용이성 향상 여력이 있음을 시사했다.
• 사용자 테스트 결과, 다양한 기술적 배경을 가진 사용자들이 시스템을 이해하고 사용할 수 있음을 확인하여 비전문가의 도입 가능성을 뒷받침했다.
• 모듈러한 'Transformer' 아키텍처는 외부 서비스의 원활한 통합 및 교체를 가능하게 하여 확장성과 장기적 유지보수를 지원한다.
• 풍부화 작업의 기록 및 내보내기 기능을 통해 향후 대규모 데이터셋에서의 재사용과 자동화가 가능해졌다.
• 평가 결과, 인간 주도 정밀 조정이 모호한 보정 결과의 품질을 크게 향상시켜 전체 데이터 정확도를 높이는 데 기여했다.