[논문 리뷰] An extensible cluster-graph taxonomy for open set sound scene analysis

Helen L. Bear, Emmanouil Benetos|arXiv (Cornell University)|2018. 09. 26.

Music and Audio Processing참고 문헌 17인용 수 4

한 줄 요약

이 논문은 동적으로 레이블 확장을 지원하고 중복을 방지하며 다중 시각에서의 레이블링을 가능하게 하는 확장 가능한 클러스터-그래프 기반 분류 체계를 제안한다. 레이블을 재사용 가능하고 분할 가능한 클러스터로 구성된 그래프로 구조화함으로써, 데이터셋 간 일관되고 상호운용 가능한 레이블링을 가능하게 하였으며, 이를 통해 DCASE 챌린지의 레이블을 통합하여 130개 이상의 음향 기술자로 구성된 공통의 비중복 분류 체계로 구현하였다.

ABSTRACT

We present a new extensible and divisible taxonomy for open set sound scene analysis. This new model allows complex scene analysis with tangible descriptors and perception labels. Its novel structure is a cluster graph such that each cluster (or subset) can stand alone for targeted analyses such as office sound event detection, whilst maintaining integrity over the whole graph (superset) of labels. The key design benefit is its extensibility as new labels are needed during new data capture. Furthermore, datasets which use the same taxonomy are easily augmented, saving future data collection effort. We balance the details needed for complex scene analysis with avoiding 'the taxonomy of everything' with our framework to ensure no duplicity in the superset of labels and demonstrate this with DCASE challenge classifications.

연구 동기 및 목표

• 데이터 공유 및 재사용을 저해하는 음향 환경 분석 분야의 재사용 가능하고 확장 가능한 분류 체계 부족 문제를 해결한다.
• 폐쇄 집합 분류의 한계를 극복하기 위해 복잡한 실제 환경에 적합한 개방 집합 레이블링을 가능하게 한다.
• 레이블을 그래프 기반 분류 체계로 구성하여 데이터셋 간 일관성을 확보하고 중복 레이블을 방지한다.
• 하나의 레이블 세트를 공동으로 구축하거나 확장할 수 있도록 하부에서부터와 상부에서부터 모두 레이블을 생성할 수 있도록 지원한다.
• 다양한 데이터셋(예: DCASE 챌린지)을 공통의 확장 가능한 분류 체계 아래 통합함으로써 데이터셋 증강과 상호운용성을 촉진한다.

제안 방법

• 각 클러스터(하위 집합)가 독립적으로 기능할 수 있도록 하되 전체 그래프 내에서의 통합성을 유지하는 클러스터-그래프 분류 체계를 설계한다.
• 레이블 간 관계를 표현하기 위해 그래프 구조를 사용하여 계층적 제약 없이 다중 시각 기반 기술자(예: 환경, 사건, 인지)를 가능하게 한다.
• 2013~2018년도 DCASE 챌린지의 레이블 세트를 통합하기 위한 프레임워크를 적용하여 의미 정규화를 통해 동음이의어와 동의어 문제를 해결한다.
• 이벤트와 환경 레이블을 반복적으로 통합하고 중복을 제거하며, 환경(en), 이벤트(ev), 맥락(c) 구성 요소로 하위집합으로 나누어 통합된 레이블 세트를 구성한다.
• 기존 온톨로지와 어휘집을 활용하여 잘못된 명칭을 방지하고 레이블 클러스터 간 의미 일관성을 확보한다.
• 데이터셋 링크를 중앙 집중식 온라인 레지스트리로 제공하여 분류 체계의 보급과 상호운용성을 촉진한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 음향 환경 분석을 위한 분류 체계를 새로운 레이블을 추가함에도 기존 레이블 세트에 영향을 주지 않고 확장 가능하게 만들 수 있는가?
• RQ2 어떤 구조적 설계가 음향 환경 레이블링에서 모듈성(하위 문제 해결을 위한)과 전반적 일관성(최대집합의 통합성 유지)을 동시에 달성할 수 있는가?
• RQ3 다양한 데이터셋과 레이블링 관행 간에 레이블 중복과 의미 모호성을 어떻게 최소화할 수 있는가?
• RQ4 기존 데이터셋(예: DCASE 챌린지 데이터셋)이 얼마나 깊이 하나의 비중복 분류 체계에 통합될 수 있는가?
• RQ5 그래프 기반 분류 체계는 하부에서부터와 상부에서부터 모두 레이블을 생성할 수 있도록 하면서도, 데이터셋 간 데이터 증강을 가능하게 할 수 있는가?

주요 결과

• 프레임워크는 DCASE 챌린지(2013–2018)에서 유래한 130개 이상의 고유한 음향 기술자를 하나의 비중복 분류 체계로 성공적으로 통합하였다.
• 최종 분류 체계는 87개의 이벤트 레이블(ev), 26개의 환경 레이블(T_scenes), 3개의 맥락 레이블(c)을 포함하며, 명확한 분리와 중복 없음이 보장되었다.
• '사람 걷기'와 같은 복합 레이블이나 '유리 흩날리는 소리' 같은 레이블은 중복을 방지하기 위해 원자적 구성요소(예: '사람', '걷기', '유리', '징징거리는 소리')로 분해되었다.
• 클러스터-그래프 구조 덕분에 레이블의 부분 집합을 독립적으로 사용할 수 있으며, 예를 들어 사무실 음향 이벤트 탐지에만 국한된 레이블 세트를 활용할 수 있다.
• 다중 기술자 지원을 통해 인간과 유사한 방식으로 음향을 분류할 수 있으며, 예를 들어 물리적 특성과 인지적 특성을 동시에 기술할 수 있다.
• 기존 레이블을 재사용할 수 있도록 함으로써 향후 데이터셋의 어노테이션 오버헤드를 줄였으며, 장기적으로는 데이터 재사용과 증강의 이점이 초기 설정 비용을 초월한다.