[논문 리뷰] MT-Adapted Datasheets for Datasets: Template and Repository

Marta R. Costa‐jussà, Roger Creus외 6명|arXiv (Cornell University)|2020. 05. 27.

Natural Language Processing Techniques참고 문헌 14인용 수 10

한 줄 요약

이 논문은 기계 번역(MT) 데이터셋을 위한 전문화된 데이터시트 템plate와 공개 리포지터리를 제안하며, Gebru 등(2018)의 일반적 데이터시트 프레임워크를 기반으로 MT 데이터 소비자에게 더 잘 부합하도록 적응시켰다. 데이터 기원, 라이선스, 유지보수 및 법적 지속 가능성에 초점을 맞춘 구체적인 질문들을 도입하였고, EuroParl 및 News-Commentary에 대한 예시 데이터시트를 제공하여 MT 연구의 투명성과 재현 가능성을 향상시켰다.

ABSTRACT

In this report we are taking the standardized model proposed by Gebru et al. (2018) for documenting the popular machine translation datasets of the EuroParl (Koehn, 2005) and News-Commentary (Barrault et al., 2019). Within this documentation process, we have adapted the original datasheet to the particular case of data consumers within the Machine Translation area. We are also proposing a repository for collecting the adapted datasheets in this research area

연구 동기 및 목표

• 널리 사용되는 MT 데이터셋에 대한 표준화되고 소비자 중심의 문서화가 부족한 문제를 해결하기 위해.
• Gebru 등(2018)의 일반적 데이터시트 프레임워크를 기반으로 기계 번역 연구자 및 전문가의 구체적 필요에 맞게 적응하기 위해.
• 투명성과 재현 가능성을 향상시키기 위해 공동체 기반의 개방형 리포지터리를 구축하기 위해.
• 기존 제작자가 상세한 문서화를 제공하지 못하는 경우, 데이터 소비자 자신이 사용하는 데이터셋을 기록하도록 유도하기 위해.
• 업데이트, 법적 상태 및 기여 정책을 추적하여 장기적인 데이터셋 지속 가능성 지원하기 위해.

제안 방법

• 데이터 소비자에게 관련성이 없는 질문, 예를 들어 데이터 수집 과정 및 전처리 세부 정보 등을 제외한 원본 데이터시트 템플릿을 수정하였다.
• 데이터 원본, 최초 배포 일자, 지리적 사용 제한, 법적 지속 가능성에 중점을 둔 새로운 질문들을 추가하였다.
• 버전 로그, 자동 업데이트, 데이터 관련성 점검 등 유지보수 관행에 대한 질문들을 도입하였다.
• 누가 데이터셋 개선에 기여할 수 있는지 명확히 하기 위해 기여 정책에 대한 질문을 명시적으로 포함시켰다.
• https://mtdatasheets.cs.upc.edu에 위치한 공개적이고 수작업으로 검토된 리포지터리를 구축하여 MT 데이터셋 데이터시트를 호스팅하고 총괄하였다.
• WMT 평가에서 널리 사용되는 두 가지 주요 벤치마크인 EuroParl(v10) 및 News-Commentary(v15)에 대한 예시 데이터시트를 제공하였다.

실험 결과

연구 질문

• RQ1 어떻게 데이터셋 문서화를 기계 번역 분야의 데이터 소비자 중심으로 개선할 수 있는가?
• RQ2 MT 연구자가 데이터셋의 편향, 기원, 장기적 사용 가능성을 평가하기 위해 가장 중요하게 고려해야 할 정보는 무엇인가?
• RQ3 투명성과 사용성 향상을 위해 원본 데이터시트 템플릿에 어떤 수정이 필요한가?
• RQ4 공동체 기반 리포지터리가 효과적으로 MT 데이터셋 문서화를 수집, 검증 및 유지보수할 수 있는 방법은 무엇인가?
• RQ5 라이선스, 지리적 제한, 법적 변화는 MT 데이터셋의 장기적 지속 가능성에 어떤 역할을 하는가?

주요 결과

• 적응된 데이터시트 템플릿은 기계 번역 데이터 소비자에게 특화된 12개의 새로운 질문을 포함하고 있으며, 원본 기재, 최초 배포 일자, 법적 지속 가능성 등을 포함한다.
• https://mtdatasheets.cs.upc.edu에 위치한 리포지터리는 주요 MT 데이터셋에 대한 공동체 기여 데이터시트를 호스팅하고 있으며, 품질 확보를 위해 수작업으로 검토된다.
• EuroParl(v10) 및 News-Commentary(v15)에 대한 예시 데이터시트가 제작되었으며, 이는 WMT 평가에서 널리 사용되는 주요 벤치마크이다.
• 데이터 수집 및 전처리에 관한 질문은 명시적으로 제외되어 있어, 소비자가 이러한 정보를 보유하지 못하는 것을 고려한 것이다.
• 버전 로그, 자동 업데이트, 데이터 관련성 점검 등을 포함한 데이터셋 유지보수 추적의 중요성을 강조하였다.
• 법적 위험 평가를 향상시킬 수 있으며, 예를 들어 사용 권한에 영향을 미칠 수 있는 법률 변화에 대비할 수 있다.