[論文レビュー] Capsule Routing for Sound Event Detection

Turab Iqbal, Yong Xu+2 more|View|Jun 12, 2018

Music and Audio Processing被引用数 5

ひとこと要約

本稿では、弱教師付き音声イベント検出のための動的ルーティングを備えたカプセルネットワークを提案し、部分-全体の関係を活用することで汎化性能を向上させ、過学習を低減する。DCASE 2017 タスク4で評価された結果、音声タギングでは58.6%のFスコア、イベント検出では46.3%のFスコアを達成し、CNNおよびRNNベースラインと比較して著しく過学習が抑制された。

ABSTRACT

The detection of acoustic scenes is a challenging problem in which environmental sound events must be detected from a given audio signal. This includes classifying the events as well as estimating their onset and offset times. We approach this problem with a neural network architecture that uses the recently-proposed capsule routing mechanism. A capsule is a group of activation units representing a set of properties for an entity of interest, and the purpose of routing is to identify part-whole relationships between capsules. That is, a capsule in one layer is assumed to belong to a capsule in the layer above in terms of the entity being represented. Using capsule routing, we wish to train a network that can learn global coherence implicitly, thereby improving generalization performance. Our proposed method is evaluated on Task 4 of the DCASE 2017 challenge. Results show that classification performance is state-of-the-art, achieving an F-score of 58.6%. In addition, overfitting is reduced considerably compared to other architectures.

研究の動機と目的

• 小さなデータセットによる弱教師付き音声イベント検出における過学習を軽減するため、カプセルベースのアーキテクチャを導入すること。
• 音声表現における部分-全体関係を通じて、グローバルな構造的整合性を学習することで、汎化性能を向上させること。
• カプセルルーティングが、強い時間的監督なしに、音声イベントの局所化に効果的な注目メカニズムとして機能するかどうかを検証すること。
• 音声タギングおよび音声イベント検出タスクにおいて、カプセルネットワークを標準的なCNNおよびRNNアーキテクチャと比較すること。

提案手法

• 音声イベントの性質（例：発生時刻、終了時刻、分類）を表すニューロンのグループ（カプセル）を用いて、階層的特徴を符号化する。
• 隣接するレイヤー間のカプセル間の結合係数を動的ルーティングにより計算し、部分から全体への関係に対する注目型重み付けを実現する。
• 予測の一貫性に基づいて、低層のカプセルが高層のカプセルにルーティングされるルーティングによる一致メカニズムを採用する。
• 分類および局所化の最適化のため、マージンベースの損失関数を用い、発生時刻と終了時刻の検出に別々の閾値を設定する。
• クラスの不均衡を緩和するため、クラスバランスの取れたサンプリングを用いてミニバッチ確率的勾配降下法でモデルを訓練する。
• 推論段階で、予測されたイベント境界を精緻化するために、拡張および収縮演算（カーネルサイズ10および5）を適用する。

Figure 1: A contrived illustration of the capsule routing concept. Activation units are shown as circles and capsules are shown as the dashed lines around them. The figure beside each capsule is the entity the capsule represents. The capsules in layer $l$ are shown to the left while the capsules in

実験結果

リサーチクエスチョン

• RQ1 カプセルルーティングは、小さなデータセットにおける弱教師付き音声イベント検出の汎化性能を向上させ得るか？
• RQ2 動的ルーティング機構は、音声特徴における部分-全体関係を効果的に学習し、より良い局所化を実現するか？
• RQ3 過学習およびSADタスクにおける性能の観点から、カプセルベースのルーティングは再帰的および畳み込みネットワークと比較してどのように差をつけるか？
• RQ4 カプセルルーティングは、音声イベント検出において暗黙の注目メカニズムとしてどの程度機能するか？
• RQ5 カプセルネットワークは、DCASE 2017の音声タギングおよび音声イベント検出サブタスクの両方で最先端の性能を達成できるか？

主な発見

• 提案されたGCCapsモデルは、DCASE 2017の音声タギングサブタスクで58.6%の最先端Fスコアを達成し、すべてのベースラインを上回った。
• 音声イベント検出サブタスクでは、Fスコア46.3%および誤差率0.76を達成し、アブレーションスタディにおいてGCNN（37.5% Fスコア）およびGCRNN（43.3% Fスコア）を上回った。
• モデルは著しく過学習が抑制されており、他のアーキテクチャと比較して、エポックが進んでも訓練損失が低く、検証精度が劣化しないことが示された。
• 動的ルーティングにより、モデルは安定した性能を維持し、訓練エポックを通じて著しい発散を示さなかった。
• 再帰的または標準的なCNNアーキテクチャと比較して、強い時間的監督がなくても、カプセルベースのアーキテクチャは過学習をより効果的に低減した。
• 結果から、カプセルルーティングは、弱教師付きSEDタスクにおける時間的依存性のモデル化に、再帰層の代替として実用的である可能性があると示唆された。

Figure 3: Diagram of the proposed neural network architecture. After the primary capsule layer, the output is divided into time slices. These slices are transformed by the subsequent layers to give $o(t)$ and $z(t)$ , which are then merged.