[논문 리뷰] Pansori: ASR Corpus Generation from Open Online Video Contents

Yoona Choi, Bowon Lee|arXiv (Cornell University)|2018. 12. 23.

Speech Recognition and Synthesis참고 문헌 8인용 수 5

한 줄 요약

이 논문은 클라우드 기반 음성 인식 API를 활용하여 오픈 온라인 영상 콘텐츠에서 고품질 자동 음성 인식(ASR) 코퍼스를 반자동으로 생성하는 오픈소스 프레임워크인 Pansori를 제시한다. 커뮤니티가 번역한 자막이 첨부된 한국어 TEDx 강연 영상을 처리함으로써 저자들은 Pansori-TEDxKR 데이터셋을 구축하였으며, 이는 연구 및 커뮤니티 사용을 위해 유연한 라이선스 하에 공개된 첫 번째 공개 가능한 고품질 한국어 ASR 코퍼스이다.

ABSTRACT

This paper introduces Pansori, a program used to create ASR (automatic speech recognition) corpora from online video contents. It utilizes a cloud-based speech API to easily create a corpus in different languages. Using this program, we semi-automatically generated the Pansori-TEDxKR dataset from Korean TED conference talks with community-transcribed subtitles. It is the first high-quality corpus for the Korean language freely available for independent research. Pansori is released as an open-source software and the generated corpus is released under a permissive public license for community use and participation.

연구 동기 및 목표

• 저자원 언어인 한국어에 대해 고품질이고 공개 가능한 ASR 코퍼스의 부족 문제를 해결하기 위해.
• 공개된 영상 콘텐츠에 자막이 첨부된 상태에서 ASR 학습 데이터를 생성하기 위한 확장성 있고 자동화된 파이프라인을 개발하기 위해.
• 기존 커뮤니티가 제공한 자막을 활용하여 음성 데이터셋을 번역하는 데 필요한 수동 작업을 줄이기 위해.
• Pansori 소프트웨어 프레임워크와 최종적으로 생성된 Pansori-TEDxKR 데이터셋을 모두 오픈소스로 공개하여 연구 커뮤니티의 활용을 촉진하기 위해.

제안 방법

• Pansori 프레임워크는 주로 한국어 TEDx 강연 영상에서 오디오를 추출한다.
• 추출된 오디오를 텍스트로 변환하기 위해 클라우드 기반 음성 인식 API를 사용한다.
• 강제 정렬 기법을 활용하여 자동으로 생성된 음성 번역문과 기존 커뮤니티가 제공한 자막을 정렬한다.
• 정확도와 일관성을 확보하기 위해 변환 품질이 높은 쌍을 검증하고 필터링한다.
• 최종적으로, 높은 신뢰도와 잘 정렬된 오디오-번역 텍스트 쌍만 포함된 코퍼스가 구성된다.
• 전체 파이프라인은 오픈소스 소프트웨어로 구현되어 재현 가능성을 보장하고 커뮤니티 기여를 가능하게 한다.

실험 결과

연구 질문

• RQ1 최소한의 수동 작업으로 공개된 영상 콘텐츠에서 반자동 파이프라인을 통해 고품질 ASR 코퍼스를 생성할 수 있는가?
• RQ2 자동으로 생성된 음성 번역문과 커뮤니티가 제공한 자막 간의 정렬이 정확한 학습 데이터를 생성하는 데 얼마나 효과적인가?
• RQ3 클라우드 기반 ASR API를 얼마나 효과적으로 활용하여 다국어 ASR 데이터셋을 대규모로 생성할 수 있는가?
• RQ4 커뮤니티가 제공한 자막을 골드 표준으로 사용함으로써 자동으로 생성된 ASR 코퍼스의 품질을 얼마나 향상시킬 수 있는가?
• RQ5 오픈소스 소프트웨어와 데이터 공유가 저자원 음성 인식 분야의 연구를 얼마나 가속화할 수 있는가?

주요 결과

• Pansori 프레임워크는 한국어 언어에 대해 공개 가능한 고품질 ASR 코퍼스인 Pansori-TEDxKR 데이터셋을 성공적으로 생성하였다.
• 이 데이터셋은 커뮤니티 자막이 첨부된 TEDx 강연 영상에서 유래한 고정확도의 정렬된 오디오-번역 텍스트 쌍을 다수 포함하고 있다.
• 클라우드 기반 ASR API의 사용으로 수동 번역이 필요한 양이 감소하여 대규모로 빠르게 코퍼스를 생성할 수 있었다.
• 최종적으로 생성된 코퍼스는 유연한 오픈 라이선스 하에 공개되어 재사용과 커뮤니티 기반 개발을 촉진한다.
• Pansori 소프트웨어의 오픈소스 성격 덕분에 연구자들이 다른 언어나 영상 소스에 맞게 파이프라인을 변형하고 확장할 수 있다.
• 이 연구는 기존 온라인 콘텐츠에서 저비용으로 고품질 ASR 데이터셋을 생성하는 실현 가능하고 확장 가능한 방법을 입증한다.