[논문 리뷰] Capsule Routing for Sound Event Detection

Turab Iqbal, Yong Xu외 2명|View|2018. 06. 12.

Music and Audio Processing인용 수 5

한 줄 요약

이 논문은 부분-전체 관계를 활용하여 일반화 능력을 향상시키고 과적합을 줄이기 위해 동적 라우팅을 적용한 캡슐 네트워크를 제안한다. DCASE 2017 Task 4에서 평가된 결과, 오디오 태깅에서 58.6%의 최고 성능 F-score를 기록했으며, 이는 CNN 및 RNN 기반 모델 대비 상당히 감소된 과적합을 보였다. 이는 이벤트 탐지에서 46.3%의 F-score를 기록했다.

ABSTRACT

The detection of acoustic scenes is a challenging problem in which environmental sound events must be detected from a given audio signal. This includes classifying the events as well as estimating their onset and offset times. We approach this problem with a neural network architecture that uses the recently-proposed capsule routing mechanism. A capsule is a group of activation units representing a set of properties for an entity of interest, and the purpose of routing is to identify part-whole relationships between capsules. That is, a capsule in one layer is assumed to belong to a capsule in the layer above in terms of the entity being represented. Using capsule routing, we wish to train a network that can learn global coherence implicitly, thereby improving generalization performance. Our proposed method is evaluated on Task 4 of the DCASE 2017 challenge. Results show that classification performance is state-of-the-art, achieving an F-score of 58.6%. In addition, overfitting is reduced considerably compared to other architectures.

연구 동기 및 목표

• 작은 데이터셋으로 인해 약한 레이블이 부여된 음향 이벤트 탐지에서의 과적합 문제를 해결하기 위해 캡슐 기반 아키텍처를 도입한다.
• 음향 표현 내의 부분-전체 관계를 통해 전역적인 구조적 일관성을 학습함으로써 일반화 능력을 향상시킨다.
• 캡슐 라우팅이 강한 시간적 감독 없이도 국소화를 위한 효과적인 주의 메커니즘으로 작용할 수 있는지 평가한다.
• 오디오 태깅 및 음향 이벤트 탐지 작업에서 표준 CNN 및 RNN 아키텍처와의 성능 비교를 수행한다.

제안 방법

• 음향 이벤트의 특성(예: 시작, 종료, 클래스 등)을 표현하는 뉴런 그룹인 캡슐을 사용하여 계층적 특징을 인코딩한다.
• 이웃하는 레이어 간의 캡슐 간 결합 계수를 계산하기 위해 동적 라우팅을 적용하여 부분-전체 관계에 대한 주의 유사 가중치를 제공한다.
• 예측 일致성에 기반해 하위 레이어의 캡슐이 상위 레이어의 캡슐으로 라우팅되는 라우팅-바이-어펜디션 메커니즘을 적용한다.
• 분류 및 국소화 최적화를 위해 마진 기반 손실 함수를 사용하며, 시작 및 종료 탐지에 대해 별도의 임계값을 설정한다.
• 클래스 불균형 문제를 완화하기 위해 클래스 균형 샘플링을 사용한 미니배치 확률적 경사 하강법으로 모델을 훈련한다.
• 추론 중에 예측된 이벤트 경계를 정밀하게 조정하기 위해 확장 및 침식 연산(커널 크기 10 및 5)을 적용한다.

Figure 1: A contrived illustration of the capsule routing concept. Activation units are shown as circles and capsules are shown as the dashed lines around them. The figure beside each capsule is the entity the capsule represents. The capsules in layer $l$ are shown to the left while the capsules in

실험 결과

연구 질문

• RQ1 캡슐 라우팅은 작은 데이터셋에서 약한 레이블이 부여된 음향 이벤트 탐지에서 일반화 능력을 향상시킬 수 있는가?
• RQ2 동적 라우팅 메커니즘이 음향 특징 내의 부분-전체 관계를 효과적으로 학습하여 보다 나은 국소화 성능을 이끌 수 있는가?
• RQ3 캡슐 네트워크는 과적합과 SED 작업 성능 측면에서 순차적 및 순환 네트워크와 비교해 어떻게 성능을 내는가?
• RQ4 캡슐 라우팅이 음향 이벤트 탐지에서 암묵적인 주의 메커니즘으로서 얼마나 효과적으로 작용하는가?
• RQ5 캡슐 네트워크는 DCASE 2017의 오디오 태깅 및 음향 이벤트 탐지 하위 작업 모두에서 최고 성능을 달성할 수 있는가?

주요 결과

• 제안된 GCCaps 모델은 DCASE 2017의 오디오 태깅 하위 작업에서 58.6%의 최고 성능 F-score를 기록했으며, 모든 기준 모델을 초월했다.
• 음향 이벤트 탐지 하위 작업에서 GCCaps는 F-score 46.3%와 오류율 0.76을 기록했으며, 분석 실험에서 GCNN(37.5% F-score) 및 GCRNN(43.3% F-score)를 모두 앞섰다.
• 모델은 다른 아키텍처와 비교해 훈련 손실이 낮고, 검증 정확도가 에포크가 진행되면서도 떨어지지 않아 과적합이 상당히 감소한 것으로 나타났다.
• 동적 라우팅은 더 나은 일반화를 가능하게 했으며, 훈련 에포크 전반에 걸쳐 안정적인 성능 유지를 보였다.
• 강한 시간적 감독 없이도 캡슐 기반 아키텍처는 순차적 또는 표준 CNN 아키텍처보다 과적합을 더 효과적으로 줄였다.
• 결과적으로 캡슐 라우팅은 약한 레이블이 부여된 SED 작업에서 시간적 의존성을 모델링하기 위해 순환 레이어의 유력한 대안이 될 수 있음을 시사한다.

Figure 3: Diagram of the proposed neural network architecture. After the primary capsule layer, the output is divided into time slices. These slices are transformed by the subsequent layers to give $o(t)$ and $z(t)$ , which are then merged.