[논문 리뷰] TLT-school: a Corpus of Non Native Children Speech

Roberto Gretter, Marco Matassoni외 2명|arXiv (Cornell University)|2020. 01. 22.

Linguistic Studies and Language Acquisition참고 문헌 31인용 수 14

한 줄 요약

이 논문은 이탈리아어를 모국어로 쓰는 학생들이 영어와 독일어를 배우는 과정에서 수집한 비모국어 어린이 발화의 공개 코퍼스인 TLT-school을 소개한다. 이 코퍼스는 2017–2018년 이탈리아 북부 학교에서 수집되었으며, 수동으로 전사된 발화 응답, CEFR(A1–B1)에 맞춘 인간이 평가한 능력 수준 점수, 그리고 세부적인 언어학적 주석을 포함하고 있다. 이를 통해 실제 환경에서의 비모국어 발화 인식 및 자동화된 제2언어 능력 평가 연구가 가능해진다. 이는 소음, 코드 혼합, 어린이 발화의 다양성 등 다양한 요소를 수반한다.

ABSTRACT

This paper describes "TLT-school" a corpus of speech utterances collected in schools of northern Italy for assessing the performance of students learning both English and German. The corpus was recorded in the years 2017 and 2018 from students aged between nine and sixteen years, attending primary, middle and high school. All utterances have been scored, in terms of some predefined proficiency indicators, by human experts. In addition, most of utterances recorded in 2017 have been manually transcribed carefully. Guidelines and procedures used for manual transcriptions of utterances will be described in detail, as well as results achieved by means of an automatic speech recognition system developed by us. Part of the corpus is going to be freely distributed to scientific community particularly interested both in non-native speech recognition and automatic assessment of second language proficiency.

연구 동기 및 목표

• 제2언어 습득 및 자동 음성 평가 연구를 위한 대규모 공개 비모국어 어린이 발화 코퍼스를 구축하기 위해.
• 9–16세 이탈리아 학생들이 영어와 독일어를 배우는 과정에서의 발화 응답을 수집하고, 언어 능력 수준과 발화 품질에 중점을 두어 주석을 부여하기 위해.
• 고품질 전사 및 인간이 주석을 부여한 지표를 제공함으로써 자동 음성 인식(ASR) 및 자동 언어 능력 수준 평가를 지원하기 위해.
• 비모국어 어린이 발화 인식의 과제, 특히 코드 혼합, 배경 소음, 즉흥적 발화 현상에 대응하기 위해.
• 미래의 종단간 자동 평가 시스템 연구 및 비모국어 어린이 발화에 대한 개선된 음성 모델링과 언어 모델링 개선을 위해.

제안 방법

• 2017–2018년 이탈리아 북부 학교에서 실시된 학교 기반 언어 능력 평가 과정 동안 데이터를 수집하였다. 대상은 9–16세 학생들이었다.
• 고정 시간 길이의 마이크를 사용한 통제된 환경에서 발화 응답을 기록하였으며, 주저함, 잘못된 시작, 중단 등의 즉흥적 발화 현상을 포함하고 있었다.
• 2017년 데이터의 일부는 일관성과 정확성을 확보하기 위해 표준화된 전사 지침을 사용하여 수동 전사되었다.
• 인간 전문가들이 CEFR에 맞춘 정의된 능력 수준 지표를 사용하여 각 응답을 주석 처리하였으며, 문법 정확도, 어휘의 풍부함, 발음, 유창성, 주제 전개 등을 포함하였다.
• 코퍼스에는 발화 응답과 글쓰기 응답이 모두 포함되어 있으며, 개인적 또는 부적절한 내용을 제거하기 위해 계획된 정규화 및 익명화 조치가 이루어졌다.
• 실제 환경의 과제에 대응하는 성능 평가를 위해 코퍼스를 기반으로 자동 음성 인식 시스템을 개발하고 평가하였다.

실험 결과

연구 질문

• RQ1 제2언어 습득 및 자동 평가 연구를 위한 대규모 실생활 비모국어 어린이 발화 코퍼스를 어떻게 체계적으로 수집하고 주석을 부여할 수 있는가?
• RQ2 비모국어 어린이 발화의 자동 음성 인식에서 주요 과제는 무엇인가? 특히 코드 혼합, 배경 소음, 즉흥적 발화 현상에 대해.
• RQ3 CEFR에 맞춘 인간 주석 기반 능력 수준 지표는 자동 시스템에 의해 얼마나 신뢰성 있게 예측될 수 있는가?
• RQ4 예를 들어, 어조, 리듬과 같은 프로소디적 특징을 포함함으로써 A2 및 B1 수준의 L2 학습자에 대한 자동 평가 성능은 어떻게 향상될 수 있는가?
• RQ5 어떻게 발화 유도 기법을 개선하여 L2 생산에서의 코드 혼합과 부정적 영향 전이를 줄일 수 있는가?

주요 결과

• TLT-school 코퍼스는 영어와 독일어를 배우는 9–16세 이탈리아 학생들의 발화 응답을 포함하며, 수동 전사 및 CEFR에 맞춘 능력 수준 주석(A1, A2, B1)이 제공된다.
• 발화 데이터의 상당 부분은 자연스러운 L2 생산을 반영하는 즉흥적 발화 현상(예: 주저함, 잘못된 시작, 어순 조각 등)을 포함하고 있다.
• 특히 개방형 질문에 대한 응답에서 이탈리아어, 영어, 독일어 간의 빈번한 코드 혼합이 관찰된다.
• 고정 시간 길이의 녹음으로 인해 배경 소음이 빈번히 발생하여 ASR 성능에 영향을 미치며, 이에 대응하기 위해 강건한 모델링 기법이 필요하다.
• 자신감 있는 음성 인식 시스템의 초도 결과는 비모국어 발음, 어린이 발화 패턴, 다국어 문장 등으로 인해 성능이 저하됨을 보여주었다.
• 정규화된 전사, 익명화된 내용, 표준화된 평가 척도(예: TOEFL Speaking Rubrics)에 매핑된 점수를 포함하여 향후 공개 준비 중이며, 이는 향후 ASR 및 자동 평가 과제를 지원할 것이다.