[논문 리뷰] Data Smells: Categories, Causes and Consequences, and Detection of Suspicious Data in AI-based Systems

Harald Foidl, Michael Felderer외 1명|arXiv (Cornell University)|2022. 03. 19.

Software Engineering Research인용 수 4

한 줄 요약

이 논문은 AI 기반 시스템에서 잠재적 문제를 시사하는 '데이터 냄새'(data smells)를 도입한다. 데이터 냄새란 코드 냄새와 유사하게 맥락에 의존하지 않는 잠재적 데이터 품질 문제를 의미한다. 논문은 신뢰성, 이해 가능성, 일관성의 세 가지 범주로 나누어 총 36종의 데이터 냄새를 정리하고, 규칙 기반 및 머신러닝 기반 방법을 활용한 검출 기법을 제안하며, 카글(Kaggle)의 246개 실제 데이터셋을 대상으로 한 평가를 통해 데이터 냄새가 실질적으로 검출 가능하고 관리 가능하다는 것을 입증한다. 이를 통해 사전적 데이터 품질 보증이 가능해지고 기술 부채를 줄일 수 있다.

ABSTRACT

High data quality is fundamental for today's AI-based systems. However, although data quality has been an object of research for decades, there is a clear lack of research on potential data quality issues (e.g., ambiguous, extraneous values). These kinds of issues are latent in nature and thus often not obvious. Nevertheless, they can be associated with an increased risk of future problems in AI-based systems (e.g., technical debt, data-induced faults). As a counterpart to code smells in software engineering, we refer to such issues as Data Smells. This article conceptualizes data smells and elaborates on their causes, consequences, detection, and use in the context of AI-based systems. In addition, a catalogue of 36 data smells divided into three categories (i.e., Believability Smells, Understandability Smells, Consistency Smells) is presented. Moreover, the article outlines tool support for detecting data smells and presents the result of an initial smell detection on more than 240 real-world datasets.

연구 동기 및 목표

• AI 기반 시스템에서 명백하지는 않지만 향후 장애를 유발할 수 있는 잠재적 데이터 품질 문제에 관한 연구 부족을 보완하기 위해.
• 코드 냄새에 비유함으로써 데이터 냄새의 개념을 정립하고, AI 시스템 맥락에서 그 특성, 원인, 결과를 정의하기 위해.
• 신뢰성, 이해 가능성, 일관성 냄새로 분류된 총 36종의 데이터 냄새를 포함한 종합적인 목록을 개발하기 위해.
• 기존의 데이터 검증과 분리된 규칙 기반 및 머신러닝 기반 검출 기법을 제안하고 평가하여 AI 개발 라이프사이클 초기 단계에서 문제 있는 데이터를 조기에 식별하기 위해.
• 카글(Kaggle)의 246개 실제 데이터셋을 대상으로 한 실험적 평가를 통해 데이터 냄새 검출의 실용적 적용 가능성을 입증하기 위해.

제안 방법

• 코드 냄새에 기반한 개념적 프레임워크를 제안하여, 데이터 냄새가 잠재적 데이터 품질 문제의 조기 경고 신호로서의 역할을 강조한다.
• 36종의 데이터 냄새를 세 가지 유형으로 분류한다: 신뢰성 냄새(예: 이질적인 값), 이해 가능성 냄새(예: 모호한 레이블), 일관성 냄새(예: 충돌하는 데이터 표현 방식).
• 도메인 특화 제약 조건이 필요 없는 사전 정의된 히ュ리스틱을 사용하는 규칙 기반 검출 방법을 개발하여 의심스러운 데이터 패턴을 식별한다.
• 합성 데이터와 실제 데이터를 기반으로 학습시킨 머신러닝 기반 검출 방법을 설계하여 복잡하고 명백하지 않은 데이터 냄새 패턴을 식별한다.
• 두 가지 검출 방법을 모두 도구 지원으로 구현하여 데이터 엔지니어링 파이프라인에 통합 가능하게 하고, 카글(Kaggle)의 246개 실제 데이터셋을 대상으로 검증한다.
• 고용량 환경에서 데이터 스트림을 우선순위 정렬하기 위해 데이터 냄새 밀도를 메트릭으로 사용하여 타겟팅된 검증 작업을 안내한다.

실험 결과

연구 질문

• RQ1 AI 기반 시스템에서 데이터 냄새의 정의적 특성, 원인, 결과는 무엇인가?
• RQ2 데이터 냄새는 실제 데이터 오류와 어떻게 체계적으로 분류되고 구분되는가?
• RQ3 AI 개발 라이프사이클 초기 단계에서 조기에 식별 가능한, 맥락에 의존하지 않는 효과적인 검출 기법은 무엇인가?
• RQ4 실제 데이터셋에서 데이터 냄새 검출은 얼마나 실현 가능하며, 검출된 문제의 규모는 어떠한가?
• RQ5 데이터 냄새 검출은 AI 시스템의 데이터 품질 보증을 향상시키고 기술 부채를 줄이는 데 어떤 방식으로 기여하는가?

주요 결과

• 카글(Kaggle)의 246개 실제 데이터셋을 대상으로 한 실험적 평가에서 데이터 냄새가 검출 가능하며, 관리 가능한 규모로 발생함을 확인하여 실용적 타당성을 입증하였다.
• 규칙 기반 검출 방법은 도메인 특화 제약 조건 없이도 의심스러운 데이터 패턴을 성공적으로 식별하여 광범위한 적용 가능성을 보였다.
• 머신러닝 기반 검출 방법은 기존 검증 방식에서 놓칠 수 있는 복잡하고 명백하지 않은 데이터 냄새 패턴을 효과적으로 드러내었다.
• 고용량 환경에서 데이터 스트림의 우선순위를 정하는 데 있어 데이터 냄새 밀도가 유용한 메트릭으로 나타났다.
• 기존 품질 보증 절차를 우회하는 미묘한 데이터 처리 결함을 데이터 냄새 검출이 드러내어 모델 성능 저하 및 데이터 기반 버그의 위험을 줄였다.
• 생산 환경에서 데이터 냄새 검출을 적용하면 이전에 발견되지 않은 데이터 문제를 식별할 수 있으며, 이는 사전적 원인 분석 및 검증 규칙 개선을 가능하게 한다.