[논문 리뷰] Building and curating conversational corpora for diversity-aware language science and technology

Andreas Liesenfeld, Mark Dingemanse|arXiv (Cornell University)|2022. 03. 07.

Speech and dialogue systems인용 수 10

한 줄 요약

이 논문은 67개의 언어와 28개의 언어계열을 아우르는 다양한 대화형 코퍼스를 구축하고 관리하기 위한 표준화된 파이프라인과 최적 실천 방안을 제시한다. 자연주의적이고 시간에 동기화된, 개방형 접근이 가능한 데이터에 중점을 두며, 700시간이 넘는 상호작용 기록, 130만 건의 턴 수준 주석, 800만 단어의 자료를 포함하는 정제된 저장소를 제공함으로써 언어 과학과 다양성 인식 기반 언어 기술의 발전을 지원한다. 품질 평가 및 상호운용성을 위한 오픈소스 도구도 함께 제공된다.

ABSTRACT

We present an analysis pipeline and best practice guidelines for building and curating corpora of everyday conversation in diverse languages. Surveying language documentation corpora and other resources that cover 67 languages and varieties from 28 phyla, we describe the compilation and curation process, specify minimal properties of a unified format for interactional data, and develop methods for quality control that take into account turn-taking and timing. Two case studies show the broad utility of conversational data for (i) charting human interactional infrastructure and (ii) tracing challenges and opportunities for current ASR solutions. Linguistically diverse conversational corpora can provide new insights for the language sciences and stronger empirical foundations for language technology.

연구 동기 및 목표

• 언어 과학 및 기술 분야에서 자연주의적이고 다양한 대화형 코퍼스의 부족 문제를 해결한다.
• 자원 소모가 크고 표준화되지 않은 코퍼스 수집의 장벽을 극복한다.
• 언어 기록 프로젝트에서의 자유로운 접근과 동의를 준수하는 데이터를 우선시함으로써 오픈 사이언스를 추진한다.
• 언어적 다양성에 걸쳐 상호운용 가능하고 시간에 동기화된 대화형 코퍼스를 위한 통합 프레임워크를 개발한다.
• 표준화되고 고품질의 데이터를 바탕으로 언어 유형학 및 음성 인식 연구를 지원한다.

제안 방법

• 대화 데이터의 통합 형식을 위한 최소한의 구조적 특성 정의: 턴 간 교환과 시간 동기화에 중점을 둔다.
• 세 가지 선별 기준 적용: 자연주의성(자연스럽고 스크립트가 없는 상호작용), 언어 다양성(28개의 언어계열 포함), 개방형 접근과 정보 제공된 동의 보장.
• ELAR, Talkbank, LDC, The Language Archive를 포함한 13개의 언어 자원 플랫폼을 통해 67개 언어의 데이터를 취합한다.
• 턴 수준의 시간 동기화와 참여 동역학을 중심으로 한 품질 제어 방법을 구현하여 데이터 무결성을 확보한다.
• 코퍼스 콘텐츠와 품질을 평가하기 위한 오픈소스 파이썬 및 R 스크립트를 개발 및 배포한다.
• 버전 관리가 가능한 중앙집중식 저장소(osf.io/cwvbe)를 구축하여 코퍼스 가용성과 메타데이터를 추적하고 문서화한다.

실험 결과

연구 질문

• RQ1 다양한 언어에서의 대화형 코퍼스는 어떻게 체계적으로 수집하고 정제하여 개방형이고 재현 가능한 연구를 지원할 수 있는가?
• RQ2 언어적·문화적으로 다양성이 있는 대화 데이터 간의 상호운용성을 확보하기 위해 필요한 최소한의 구조적 및 메타데이터 표준은 무엇인가?
• RQ3 기존의 언어 기록 코퍼스는 다양성 인식 기반 언어 기술 개발을 얼마나 잘 뒷받침할 수 있는가?
• RQ4 자연주의적 대화 패턴은 언어계열에 따라 어떻게 다를 수 있으며, 이는 상호작용 언어학에 어떤 통찰을 제공하는가?
• RQ5 현재의 자동 음성 인식 시스템은 자원이 부족하고 인도·계열 외 언어를 처리할 때 어떤 과제에 부딪히는가?

주요 결과

• 저자는 67개 언어와 28개 언어계열을 아우르는 70개 이상의 개방형 데이터셋을 정제한 저장소를 구축하였다. 이는 700시간이 넘는 대화 상호작용을 포함한다.
• 코퍼스는 130만 건의 턴 수준 주석과 약 800만 단어를 포함하며, 그 중 75%는 언어 기록 프로젝트에서 유래하였다.
• 파이프라인은 턴 간 교환 동역학과 시간 동기화 분석을 통해 품질 제어를 성공적으로 수행하여 데이터의 정확성을 확보하였다.
• 사례 연구를 통해 다양한 대화형 코퍼스는 상호작용 기반 인프라의 다국어적 패턴을 드러내며, 현재의 ASR 시스템의 한계를 폭 드러내었다.
• 개방형 접근과 재현 가능한 파이프라인은 언어학 연구와 더 포괄적인 언어 기술 개발을 모두 지원한다.
• 표준화되고 시간에 동기화된 코퍼스의 가용성은 언어 유형학과 상호작용 언어학 분야에서의 비교 연구 가능성을 높였다.