[논문 리뷰] AudioSentibank: Large-scale Semantic Ontology of Acoustic Concepts for Audio Content Analysis.

Sebastian Säger, Damian Borth외 5명|arXiv (Cornell University)|2016. 07. 13.

Music and Audio Processing참고 문헌 14인용 수 5

한 줄 요약

이 논문은 의미 있는 음성 콘텐츠 분석을 가능하게 하기 위해 1,123개 이상의 어미-동사 및 명사-형용사 청각 개념 쌍으로 구성된 대규모 패러다임을 소개한다. 이는 이러한 개념 쌍을 분류하기 위한 벤치마크를 제안하며, 단일 개념보다 더 정교한 정서적 및 맥락적 음성 정보를 포괄하는 쌍화된 의미 표현의 가능성을 입증한다.

ABSTRACT

Audio carries substantial information about the content of our surroundings. The content has been explored at the semantic level using acoustic concepts, but rarely on concept pairs such as happy crowd and angry crowd. Concept pairs convey unique information and complement other audio and multimedia applications. Hence, in this work we explored for the first time the classification's performance of acoustic concepts pairs. For this study, we introduce the AudioSentiBank corpus, which is a large-scale folksology containing over 1,123 adjective and verb noun pairs. Our contribution consists on providing the research corpus, the benchmark for classification of acoustic concept pairs, and an analysis on the pairs.

연구 동기 및 목표

• 음성 분석에서 쌍화된 청각 개념에 대한 대규모 의미 자원의 부족을 해결하기 위해.
• 고립된 개념과 비교하여 '기쁨 있는 군중' 또는 '분노한 군중'과 같은 개념 쌍이 전달하는 고유한 정보를 탐색하기 위해.
• 음성 내에서 청각 개념 쌍을 분류하기 위한 벤치마크를 수립하기 위해.
• 실제 음성 맥락에서 이러한 쌍이 포착하는 의미적 및 지각적 구분을 분석하기 위해.

제안 방법

• 1,123개의 어미-동사 및 명사-형용사 청각 개념 쌍으로 구성된 대규모 패러다임 구축.
• 각 개념 쌍에 해당하는 음성 샘플을 수집하고 주석 처리하여 AudioSentiBank 코퍼스를 구성.
• 원시 음성 특징에서 개념 쌍 레이블을 예측하기 위해 딥 네ural 네트워크를 사용한 분류 벤치마크 설계.
• 분류 성능 향상을 위해 음성 임베딩 및 전이 학습 기법 활용.
• 다양한 청각 개념 쌍에 걸쳐 모델 성능을 평가하여 의미적 구별 능력 평가.

실험 결과

연구 질문

• RQ1 음성 모델은 단일 개념과 비교해 어떤 정도로 청각 개념 쌍을 분류할 수 있는가?
• RQ2 어떤 유형의 청각 개념 쌍이 음성에서 가장 구별 가능한 정보를 전달하는가?
• RQ3 개념 쌍의 의미적 구조는 음성의 지각적 및 정서적 콘텐츠와 어떻게 관련되어 있는가?
• RQ4 쌍화된 표현 방식은 후행 음성 이해 작업을 얼마나 향상시키는가?

주요 결과

• AudioSentiBank 코퍼스는 1,123개 이상의 고유한 청각 개념 쌍을 포함하며, 음성에 대한 풍부한 의미 온톨로지 체계를 형성한다.
• 개념 쌍에 대한 분류 성능는 쌍화된 의미 표현이 고립된 개념에서는 확보할 수 없는 미세한 정서적 및 맥락적 구별 정보를 포착함을 보여준다.
• 벤치마크는 '기쁨 있는 군중'이나 '분노한 군중'과 같은 일부 쌍이 매우 구별 가능하고 안정적으로 분류됨을 드러낸다.
• 연구는 개념 쌍이 단일 레이블 분류를 초월해 음성 콘텐츠 분석을 위한 보완 정보를 제공함을 확인하며, 의미 이해를 향상시킨다.