[논문 리뷰] Measuring Data

Margaret Mitchell, Alexandra Sasha Luccioni외 8명|arXiv (Cornell University)|2022. 12. 09.

Machine Learning and Data Classification인용 수 7

한 줄 요약

이 논문은 데이터 크기, 모odal(모odal), 편향 등의 정의 가능한 차원을 따라 기계 학습 데이터셋을 정량적으로 특성화할 수 있는 체계적인 작업으로서 '데이터 측정'을 도입한다. 이를 통해 더 나은 데이터셋 정제, 감사, 모델 제어가 가능해진다. 자연어 처리, 컴퓨터 비전, 윤리학 분야에서 기존의 다각적 측정 방법을 통합함으로써, 표준화되고 자동화된 데이터 분석을 위한 프레임워크를 수립함으로써 데이터셋의 투명성을 높이고 의도치 않은 모델 행동을 줄이는 데 기여한다.

ABSTRACT

We identify the task of measuring data to quantitatively characterize the composition of machine learning data and datasets. Similar to an object's height, width, and volume, data measurements quantify different attributes of data along common dimensions that support comparison. Several lines of research have proposed what we refer to as measurements, with differing terminology; we bring some of this work together, particularly in fields of computer vision and language, and build from it to motivate measuring data as a critical component of responsible AI development. Measuring data aids in systematically building and analyzing machine learning (ML) data towards specific goals and gaining better control of what modern ML systems will learn. We conclude with a discussion of the many avenues of future work, the limitations of data measurements, and how to leverage these measurement approaches in research and practice.

연구 동기 및 목표

• 기계 학습에서 데이터셋 구성과 특성을 정량화할 수 있도록 '측정할 수 있는 데이터'를 별개의 체계적 과제로 체계화하는 것.
• 자연어 처리, 컴퓨터 비전, 윤리학 분야에서 기존의 측정 방법을 통합하여 데이터셋 분석을 위한 공통 프레임워크를 수립하는 것.
• 측정 가능한, 비교 가능한, 실행 가능한 데이터 특성을 제공함으로써 더 나은 데이터셋 정제, 감사, 모델 제어를 가능하게 하는 것.
• 특히 인간의 이해를 초월하는 규모로 커지는 데이터셋에 대해 체계적인 문서화와 분석의 부재를 해결하는 것.
• 과도한 표현, 임베디드 편향 등의 문제적 데이터 아티팩트를 식별하고 완화함으로써 책임감 있는 AI 개발을 지원하는 것.

제안 방법

• 물리 과학 및 측정학 원리에 기반한 데이터 측정 체계를 제안하여 기본적, 유도적, 강도적/광범위적 특성 간의 차이를 명확히 하는 것.
• 데이터 크기, 모달(텍스트, 이미지 등), 문장 길이, 이미지 해상도, 편향 지표 등 핵심 측정 가능한 차원을 식별하는 것.
• 데이터 수집 과정에서 실시간 측정을 도입하여 샘플링 결정을 안내하고 데이터 품질을 향상시키는 것.
• 모델 출력(예: 언어 모델 생성물)에 측정을 적용하여 학습된 패턴과 편향을 탐지하는 것.
• 정의된 공정성 및 윤리 연구에서의 기존 지표(예: 편향 탐지, 데이터 품질 점수)를 기본 측정 도구로 활용하는 것.
• 메타데이터, 시간적 순서, 다중모달 상호작용을 추가 측정 차원으로 활용할 것을 권장하는 것.

실험 결과

연구 질문

• RQ1 기계 학습 데이터셋에서 데이터의 구성과 특성을 정량화하기 위해 어떻게 체계적으로 측정할 수 있는가?
• RQ2 다양한 도메인과 모달 간에 데이터셋을 비교하는 데 사용할 수 있는 공통적인 차원과 지표는 무엇인가?
• RQ3 실시간 데이터 측정은 훈련 중 데이터셋 정제와 모델 성능 향상에 어떻게 기여하는가?
• RQ4 모델 출력을 측정함으로써 훈련 데이터에서 학습된 편향이나 의도하지 않은 행동을 어떻게 드러낼 수 있는가?
• RQ5 기계 학습 연구 및 산업 전반에서 측정 관행을 표준화하여 책임감 있는 AI 개발을 지원하는 방법은 무엇인가?

주요 결과

• 데이터 측정은 평균 문장 길이나 수집 배치 간 이미지 크기 변화를 추적함으로써 데이터 포함 기준으로서 정량적 기준을 제공함으로써 체계적인 데이터셋 정제를 가능하게 한다.
• 데이터 측정은 특히 수작업으로 점검하기 어려운 정도로 큰 데이터셋에 대해 교차 데이터셋 비교 및 문서화를 지원한다.
• 모델 출력에 측정을 적용함으로써 언어 모델 생성물이나 객체 검출 레이블에서 탐지된 바와 같이 학습된 편향과 패턴을 드러낸다.
• 정의된 공정성, 윤리, 자연어 처리 연구에서의 기존 지표를 통합한 측정 프레임워크의 통합은 데이터셋의 투명성과 감사 가능성을 향상시킨다.
• 데이터 측정은 모델이 무엇을 학습할 수 있는지에 대한 더 큰 제어를 제공하며, 정제되지 않은 데이터에서 발생할 수 있는 의도하지 않은 행동의 위험을 줄이는 데 기여한다.
• 저자들은 중요한 연구 격차를 식별한다: 다양한 측정 기법이 존재하지만, 아직 머신러닝 분야에서 체계적인 데이터 측정을 위한 공통 프레임워크나 어휘가 존재하지 않는다는 점.