[논문 리뷰] Task-Lens: Cross-Task Utility Based Speech Dataset Profiling for Low-Resource Indian Languages

Swati Sharma, Divya Sharma외 1명|arXiv (Cornell University)|2026. 02. 16.

ICT in Developing Communities인용 수 0

한 줄 요약

Task-Lens는 50개의 인도어 발화 데이터 세트를 26개 언어에 걸쳐 9개 하위 태스크에 대해 체계적으로 프로파일링하여 작업 간 준비도, 격차 및 언어 커버리지를 드러내고, 표적 데이터 재사용과 데이터세트 생성에 실용성을 제공한다.

ABSTRACT

The rising demand for inclusive speech technologies amplifies the need for multilingual datasets for Natural Language Processing (NLP) research. However, limited awareness of existing task-specific resources in low-resource languages hinders research. This challenge is especially acute in linguistically diverse countries, such as India. Cross-task profiling of existing Indian speech datasets can alleviate the data scarcity challenge. This involves investigating the utility of datasets across multiple downstream tasks rather than focusing on a single task. Prior surveys typically catalogue datasets for a single task, leaving comprehensive cross-task profiling as an open opportunity. Therefore, we propose Task-Lens, a cross-task survey that assesses the readiness of 50 Indian speech datasets spanning 26 languages for nine downstream speech tasks. First, we analyze which datasets contain metadata and properties suitable for specific tasks. Next, we propose task-aligned enhancements to unlock datasets to their full downstream potential. Finally, we identify tasks and Indian languages that are critically underserved by current resources. Our findings reveal that many Indian speech datasets contain untapped metadata that can support multiple downstream tasks. By uncovering cross-task linkages and gaps, Task-Lens enables researchers to explore the broader applicability of existing datasets and to prioritize dataset creation for underserved tasks and languages.

연구 동기 및 목표

• 메타데이터와 속성을 사용하여 인도어 발화 데이터세트의 교차 태스크 준비도를 평가한다.
• 원래 용도 외에 여러 하위 태스크를 지원하는 데이터세트를 식별한다.
• 태스크 정합성을 높여 더 넓은 데이터세트 활용을 가능하게 할 개선책을 제안한다.
• 특정 대상 데이터 수집을 유도하기 위해 서비스가 미치지 못하는 언어와 태스크를 강조한다.

제안 방법

• 인도어 발화 자원과 관련된 동료 심사된 장소와 레지스트리 포털에서 데이터세트 탐색.
• 인도어 언어 콘텐츠와 추출 가능한 메타데이터를 보장하기 위한 2단계 필터링.
• 표준화된 스키마를 사용하여 데이터세트당 10개의 설명 특성을 추출.
• 데이터세트 특징을 9개의 하위 태스크에 매핑하는 태스크-특성 관련성 매트릭스.
• 태스크-레디 상태의 정의: 데이터세트가 특정 태스크의 '필수' 특징을 모두 충족하는 경우.

Figure 1: Task-Lens: It involves dataset discovery, dataset filtering, feature extraction, followed by utility mapping that aligns dataset features with task needs via a Task-feature relevance matrix labeled as Required and Optional or Not Applicable. A dataset is ‘Task-Ready’ for a task if it satis

실험 결과

연구 질문

• RQ1 각 데이터세트가 현재 어떤 태스크를 지원하는가?
• RQ2 데이터세트를 교차 태스크 응용에 적합하게 만들 개선은 무엇인가?
• RQ3 인도 맥락에서 어떤 음성 연구 영역이 충분한 데이터세트 지원이 부족한가?
• RQ4 태스크별로 충분한 커버리지를 가진 인도 언어는 어떤 것이며 격차는 어디에 있는가?

주요 결과

• 총 91,257시간의 오디오를 포함하는 26개 언어에 걸친 50개의 인도 발화 데이터세트를 분석했다.
• 여러 데이터세트(D4, D6, D15, D16, D18, D22, D29, D34, D35)는 9개 태스크 중 7개를 지원하는 데 필요한 특징을 갖고 있다.
• 음성 화자 식별자, 합성 음성 및 감정 라벨은 일반적으로 누락되어 SV/SID, ADD, SER의 교차 태스크 준비도를 제한한다.
• 태스크 T3(언어 식별)와 T9(GRE)은 다국어 풀링과 공유 데이터세트 덕분에 더 높은 커버리지를 달성하여 약 90,000시간에 이른다.
• SER는 가장 데이터가 부족한 태스크로 남아 있으며 약 785시간으로 나타나 인도어 언어의 중요한 데이터 격차를 시사한다.

Figure 2: Distribution of total dataset duration for each task in hours for direct comparison. There is an urgent need of datasets for tasks $T_{4}$ (SV/SID), $T_{5}$ (ADD), and $T_{6}$ (SER).