[논문 리뷰] NELS -- Never-Ending Learner of Sounds

Benjamin Elizalde, Rohan Badlani외 3명|arXiv (Cornell University)|2018. 01. 17.

Music and Audio Processing참고 문헌 16인용 수 5

한 줄 요약

NELS는 YouTube 오디오와 메타데이터를 채굴하여 음성-언어 연관성을 지속적으로 학습하는 연속적이고 웹 스케일의 시스템을 제안한다. 자기지도 학습과 인간 피드백을 통해 음성 인식 성능을 향상시키며, 정답 레이블이 없는 대규모 평가에서 안정적인 성능 향상을 달성한다. 검색 쿼리를 인간 평가의 대체 지표로 사용하여 정답 레이블이 없는 상황에서도 성능을 평가한다.

ABSTRACT

Sounds are essential to how humans perceive and interact with the world and are captured in recordings and shared on the Internet on a minute-by-minute basis. These recordings, which are predominantly videos, constitute the largest archive of sounds we know. However, most of these recordings have undescribed content making necessary methods for automatic sound analysis, indexing and retrieval. These methods have to address multiple challenges, such as the relation between sounds and language, numerous and diverse sound classes, and large-scale evaluation. We propose a system that continuously learns from the web relations between sounds and language, improves sound recognition models over time and evaluates its learning competency in the large-scale without references. We introduce the Never-Ending Learner of Sounds (NELS), a project for continuously learning of sounds and their associated knowledge, available on line in nels.cs.cmu.edu

연구 동기 및 목표

• 웹 오디오를 활용해 시간이 지남에 따라 적응하는 대규모 연속적 음성 학습 시스템의 부족을 해결하기 위해.
• 정제된 데이터셋과 비정제된 웹 오디오를 반감독 방식으로 활용해 음성 인식의 강건성을 향상시키기 위해.
• 정답 레이블이 없는 상황에서 음성 인식을 평가할 수 있는 확장 가능한 방법을 개발하기 위해.
• 언어와 음성 간의 관계를 탐색하기 위해, 특히 어미-명사 및 동사-명사 조합을 통한 음성 기술에 중점을 두기 위해.
• 연구 및 응용을 위해 공개 가능하고 지속적으로 업데이트되는 오디오 색인 및 검색 시스템을 구축하기 위해.

제안 방법

• NELS는 음성 이벤트 레이블을 검색 쿼리로 사용해 YouTube를 지속적으로 크롤링하며, '⟨음성⟩ 사운드'와 같은 키워드 조합을 통해 검색 결과의 관련성을 향상시킨다.
• Pafy API를 통해 메타데이터(제목, 설명, URL)를 추출하고, 이를 2.3초 길이의 오디오 세그먼트 색인화에 사용한다.
• 정제된 데이터셋(예: US8K)과 웹 오디오의 조합으로 음성 인식 모델을 훈련하며, 성능 향상을 위해 자기학습(self-training)을 적용한다.
• NELS 웹사이트를 통해 인간 피드백을 수집하여 색인 정확도를 평가하고 모델 개선을 이끈다.
• 성능 평가는 검색 쿼리 결과를 약한 기준으로 사용하며, 관련성이 높은 쿼리가 실제 음성 콘텐츠를 반영한다고 가정한다.
• 의존 경로 특징과 규칙 기반 분류기를 사용해 텍스트에서 음성 기술어와 온톨로지적 관계를 탐색한다.

실험 결과

연구 질문

• RQ1 비정제된 웹 오디오에서 지속적으로 음성 표현을 학습하면서 시간이 지남에 따라 성능이 향상되는 시스템가능한가?
• RQ2 검색 쿼리(예: '에어컨 사운드')가 인간 애너테이션 정답 레이블을 대체로 사용할 수 있는가? 특히 음성 인식 평가에서 효과적인가?
• RQ3 어미-명사 및 동사-명사 조합이 음성 이벤트의 청각적 차이를 얼마나 신뢰성 있게 기술하는가?
• RQ4 학습 데이터와 테스트 데이터 분포가 다를 때, 웹 오디오에서의 자기지도 학습이 인식 성능 향상에 얼마나 기여하는가?
• RQ5 언어 기반 신호, 예를 들어 'X의 사운드' 패턴을 사용해 대규모로 유효한 음성 이벤트 레이블을 자동으로 탐지할 수 있는가?

주요 결과

• 2017년 10월 20일까지 NELS는 600개의 음성 이벤트 레이블을 사용해 300시간 이상의 오디오(400만 개의 영상 세그먼트)를 색인화했다.
• 20만 개의 레이블이 없는 YouTube 세그먼트를 재학습한 결과, 데이터 분포 불일치에도 불구하고 전체 정밀도에서 1.4%p의 절대적 향상을 달성했다.
• 검색 쿼리를 기준으로 한 성능 추세는 인간 피드백과 10% 이내로 일치했으며, 이는 쿼리가 낮은 기준 평가 지표로 활용될 수 있음을 시사한다.
• 'X의 사운드' 패턴과 규칙 기반 필터링을 통해 10만 개 이상의 유효한 음성 이벤트 어휘를 탐지했다.
• 어미-명사 및 동사-명사 조합은 음성 이벤트 간의 청각적 콘텐츠에 대해 일관되지만 주관적인 연관성을 보였다.
• 정제된 정답 레이블에 의존하지 않고도 웹 자료에서 대규모 연속적 음성 지식 학습의 가능성을 입증했다.