[論文レビュー] Improving performance and inference on audio classification tasks using capsule networks

Royal Jain|arXiv (Cornell University)|Feb 13, 2019

Music and Audio Processing参考文献 23被引用数 12

ひとこと要約

本稿では、動的ルーティング・バイ・アポイントメントを活用して性能と推論を向上させる、音声分類向けに最適化されたカプセルネットワークアーキテクチャを提案する。7つの多様な音声データセットにおいて、CNNやLSTM、アテンションベースのモデルと比較して顕著な精度向上を示し、カプセル活動ベクトルを用いることでデータの解釈可能性と有効な転移学習の可能性を明らかにする。

ABSTRACT

Classification of audio samples is an important part of many auditory systems. Deep learning models based on the Convolutional and the Recurrent layers are state-of-the-art in many such tasks. In this paper, we approach audio classification tasks using capsule networks trained by recently proposed dynamic routing-by-agreement mechanism. We propose an architecture for capsule networks fit for audio classification tasks and study the impact of various parameters on classification accuracy. Further, we suggest modifications for regularization and multi-label classification. We also develop insights into the data using capsule outputs and show the utility of the learned network for transfer learning. We perform experiments on 7 datasets of different domains and sizes and show significant improvements in performance compared to strong baseline models. To the best of our knowledge, this is the first detailed study about the application of capsule networks in the audio domain.

研究の動機と目的

• アフィン変換や時間的感度の問題を抱えるCNNやRNNの限界を克服し、動的ルーティング・バイ・アポイントメントを用いたカプセルネットワークの音声分類タスクへの適応を目的とする。
• カプセル次元数やルーティング反復回数といったアーキテクチャのハイパーパrameterが分類精度に与える影響を調査すること。
• MFCC入力を再構成する再構成ヘッドを用いた新しい正則化技術により、モデルのロバスト性を向上させること。
• 重み付き損失調整を用いることで、マルチラベル音声分類タスクにおける性能を向上させ、カプセルネットワークの拡張を図ること。
• カプセル出力が関連する音声ドメインにおけるデータ解釈や転移学習にどのように有用であるかを検討すること。

提案手法

• MFCCを入力特徴として用い、階層的な部分-全体関係を学習するため、動的ルーティング・バイ・アポイントメントを適用した、音声入力に特化したカプセルネットワークアーキテクチャを提案する。
• 分類用のマージン損失と再構成用の平均絶対誤差（MAE）を組み合わせた二重スレッド損失関数を導入し、入力再構成による正則化を可能にする。
• 再構成損失における特徴の優位性を防ぐために、MFCC特徴にミニマム・マックススケーリングを適用し、学習の安定化を図る。
• カプセル活動ベクトルに主成分分析（PCA）を適用し、アモルチュードとスピードの変化が出力に与える影響を分析することで、ポーズ不変表現の有無を明らかにする。
• 下流タスクにおいてカプセル層出力をMFCCと連結することで、ソースドメインからターゲットドメインへの知識転送を可能にする、転送可能特徴としてのカプセル出力の利用。
• マルチラベル設定における誤検出の影響を軽減するため、調整可能なハイパーパrameter λ を用いた重み付きバイナリクロスエントロピー損失を採用する。

実験結果

リサーチクエスチョン

• RQ1 カプセルネットワークは、多様な音声分類ベンチマークにおいて、CNN、LSTM、アテンションベースのモデルと比較してどのように性能を発揮するか？
• RQ2 音声分類精度を最大化するための最適なカプセル次元数とルーティング反復回数は何か？
• RQ3 再構成ベースの正則化を施したカプセルネットワークは、特に小規模データセットにおいて一般化性能を向上させることができるか？
• RQ4 カプセル活動ベクトルは、アモルチュードとスピードの制御された摂動に対してどのように反応するか？これにより学習された表現の性質が何を示すか？
• RQ5 カプセル活動ベクトルは、関連する音声分類タスクにおいて、どの程度転送可能特徴として利用可能か？

主な発見

• カプセルネットワークは、7つのすべてのデータセットで強力なベースライン（CNN、LSTM、アテンションモデル）を上回る分類精度を達成し、特に小規模データセット（FSDD、VCTK）で顕著な向上を示した。
• 最適なカプセル次元数が存在する。精度は一定の点まで上昇し、その後減少する傾向を示しており、モデル容量とオーバーフィッティングのトレードオフが示された。
• 再構成ヘッドによる正則化により、小規模データセット（例：FSDD）において顕著な性能向上が得られ、過学習の低減と一般化性能の向上が確認された。
• 入力のアモルチュードとスピードを摂動させた際、PCA空間におけるカプセル出力が明確に分離しており、出力ベクトルが意味的なポーズ関連情報を符号化していることが示された。
• カプセル活動ベクトルを用いた転移学習により、Ravdess感情分類の精度が41%から50%に向上し、学習済み特徴の転送可能性を実証した。
• マルチラベル設定では、ルーティング・バイ・アポイントメントによりクラス間干渉が低減し、Multi-VCTKおよびMulti-MUSANデータセットにおける重み付き精度が向上した。