[論文レビュー] Sparsely Connected and Disjointly Trained Deep Neural Networks for Low Resource Behavioral Annotation: Acoustic Classification in Couples' Therapy

Haoqi Li, Brian Baucom+1 more|arXiv (Cornell University)|Jun 14, 2016

Music and Audio Processing参考文献 17被引用数 5

ひとこと要約

本稿では、特にカップルセラピーにおける音声分析を想定した低リソース環境における行動分類の向上を目的として、スパarsely-Connected かつ 離散的に訓練された深層ニューラルネットワーク（SD-DNN）フレームワークを提案する。音声特徴量をサブセットに分割し、個別にDNNを訓練し、その隠れ層を統合することで、パラメータの複雑さを低減するとともに、限られたノイズの多いデータ上での収束性を向上させた。本手法は、受容行動分類において最大75.36%の正確性を達成し、ベースラインモデルを著しく上回った。

ABSTRACT

Observational studies are based on accurate assessment of human state. A behavior recognition system that models interlocutors' state in real-time can significantly aid the mental health domain. However, behavior recognition from speech remains a challenging task since it is difficult to find generalizable and representative features because of noisy and high-dimensional data, especially when data is limited and annotated coarsely and subjectively. Deep Neural Networks (DNN) have shown promise in a wide range of machine learning tasks, but for Behavioral Signal Processing (BSP) tasks their application has been constrained due to limited quantity of data. We propose a Sparsely-Connected and Disjointly-Trained DNN (SD-DNN) framework to deal with limited data. First, we break the acoustic feature set into subsets and train multiple distinct classifiers. Then, the hidden layers of these classifiers become parts of a deeper network that integrates all feature streams. The overall system allows for full connectivity while limiting the number of parameters trained at any time and allows convergence possible with even limited data. We present results on multiple behavior codes in the couples' therapy domain and demonstrate the benefits in behavior classification accuracy. We also show the viability of this system towards live behavior annotations.

研究の動機と目的

• 精神保健分野における行動信号処理（BSP）におけるデータスパarsityの課題に対処すること。
• 限られた、粗い、主観的な行動アノテーションデータ上で学習する際の、収束性の悪化と過学習の問題を克服すること。
• 低データ可用性にもかかわらず高い性能を維持できるスケーラブルで効率的なDNNフレームワークの開発。
• 臨床的モニタリングおよび干渉のためのリアルタイムかつ継続的な行動軌跡推定の実現。
• カップルセラピーにおけるセッションレベルおよびオンライン行動アノテーションに、SD-DNNフレームワークの実用性を示すこと。

提案手法

• 次元を低減し、モデルの複雑さを減らすために、音声特徴量の全セット（例：MFCC、ピッチ、ジターバイアス、シャイマー）を互いに排他的なサブセットに分割する。
• 各特徴量サブセット上で独立して学習する小型のDNNを複数構築し、同時に最適化するプロセスを別々に実行することで、同時に学習可能なパラメータ数を制限する。
• 個々のDNNの隠れ層を統合し、より深い完全結合型の統合ネットワークを構築することで、複数ストリームの表現を統合する。
• スパarsityとパラメータ共有の影響を評価するため、訓練済みのSD-DNNを重み初期化として用いて、完全結合型DNN（DNN_SD-init）を訓練する。
• スパarsityと離散的訓練の利点を明確にするために、SVM、標準的な完全結合型DNN、および共同で訓練されたDNN（SJ-DNN）と性能を比較する。
• リアルタイムの行動軌跡推定を維持するため、セッションレベルの正規化とスライディングウィンドウ特徴抽出を適用する。

実験結果

リサーチクエスチョン

• RQ1 スパarsely接続され、離散的に訓練されたDNNアーキテクチャは、低リソースな行動信号処理タスクにおける分類正確性を向上させることができるか？
• RQ2 離散的訓練によって同時に学習可能なパラメータ数を制限することで、小規模データセット上でのモデル収束性と性能が向上するか？
• RQ3 SD-DNNの性能は、標準的な完全結合型DNNおよびSVMベースラインと比べてどうなるか？
• RQ4 SD-DNNフレームワークは、臨床的モニタリングのためのリアルタイムかつ継続的な行動軌跡推定を可能にするか？
• RQ5 SD-DNNの重みを初期値として用いることで、パラメータ数が増加しても完全結合型DNNの性能が向上するか？

主な発見

• SD-DNNは受容行動コードにおいて75.36%の正確性を達成し、SVMベースラインの68.57%および完全結合型DNNの71.79%を著しく上回った。
• 共同で訓練されたSJ-DNNモデル（受容行動で73.57%の正確性）を上回ったことから、離散的訓練が過学習を低減し、一般化性能を向上させることを示した。
• SD-DNNの重みを初期値として用いた完全結合型DNN（DNN_SD-init）は、SD-DNNに比べて性能が低下したため、データがスパースな状況では結合性の増加が性能を損なう可能性があると示唆された。
• SD-DNNフレームワークにより、継続的な行動軌跡の生成が可能となり、否定的/責める行動と受容行動の逆相関といった意味のある時間的ダイナミクスが明らかになった。
• 本手法は、リアルタイムの行動アノテーションに実用的であることが示され、イン・サイチュおよび継続的モニタリングの場面への導入を可能にする。
• 結果から、パラメータのスパarsityと離散的訓練の両方が、低データ量のBSP応用におけるDNN性能向上に不可欠であることが確認された。