[論文レビュー] Fusion of Deep Neural Networks for Activity Recognition: A Regular Vine Copula Based Approach

Shan Zhang, Baocheng Geng+2 more|arXiv (Cornell University)|May 7, 2019

Context-Aware Activity Recognition Systems参考文献 30被引用数 5

ひとこと要約

本論文は、複数のセンサーから抽出した深層ニューラルネットワーク（DNN）特徴量を統合するための、レギュラー・ビーン（R-Vine）コーパラに基づく統合手法を提案する。従来の統合層と比較して、非線形的かつ複雑なマルチモーダル依存関係をより効果的にモデル化でき、少ない学習サンプルで高いF1スコア（STISENでは88.6%、ANGUITAでは92.8%）を達成するとともに、特徴量依存関係の解釈可能性が向上する。

ABSTRACT

In this paper, we propose regular vine copula based fusion of multiple deep neural network classifiers for the problem of multi-sensor based human activity recognition. We take the cross-modal dependence into account by employing regular vine copulas that are extremely flexible and powerful graphical models to characterize complex dependence among multiple modalities. Multiple deep neural networks are used to extract high-level features from multi-sensing modalities, with each deep neural network processing the data collected from a single sensor. The extracted high-level features are then combined using a regular vine copula model. Numerical experiments are conducted to demonstrate the effectiveness of our approach.

研究の動機と目的

• マルチセンサー人間行動認識における非線形的かつマルチモーダルな依存関係の課題に対処すること。
• 分類器出力が線形的または独立であると仮定する従来の統合手法の限界を克服すること。
• 深層ニューラルネットワークによる特徴抽出とR-Vineコーパラによる複雑な依存構造のモデル化を活用して分類性能を向上させること。
• エンドツーエンドのディープラーニングベースの統合層と比較して、統合に必要な学習サンプル数を削減すること。
• 特徴量間の内挿的およびマルチモーダル依存関係を明示的にモデル化・可視化することで、モデルの解釈可能性を向上させること。

提案手法

• 加速度計、ジャイロスコープ、スマートフォン、ウォッチなどの個々のセンサーからのデータに対して、独立に複数の深層ニューラルネットワーク（DNN）を学習させ、高レベル特徴量を抽出する。
• DNNの出力（モダリティ固有の特徴量）をR-Vineコーパラモデルの入力として用い、モダリティ間の複雑な非線形的依存関係を捉える。
• R-Vineコーパラ構造は二変量コーパラを段階的に組み合わせることで階層的に構築され、高次元の依存関係を柔軟にモデル化可能である。
• モデル構築には、最適なR-Vineツリー構造の選定、コーパラパラメータ（ϕ）の推定、および各二変量ペアに最適なコーパラ族（c*）の選択が含まれる。
• 最終的な統合意思決定は、R-Vineコーパラがモデル化する連合確率分布を組み合わせることで行われ、確率的分類が可能になる。

実験結果

リサーチクエスチョン

• RQ1 R-Vineコーパラは、マルチセンサーHARにおけるDNNで抽出された特徴量の間の非線形的かつマルチモーダルな依存関係を効果的にモデル化できるか？
• RQ2 R-Vineコーパラベースの統合手法は、従来の統合手法（例：全結合層や早期統合）と比較して、分類精度およびサンプル効率の面で優れているか？
• RQ3 本手法は、モダリティ間の特徴レベル依存関係の構造を明らかにすることで、解釈可能性を向上させているか？
• RQ4 異なるセンサーモダリティ（例：スマートフォン／ウォッチ vs. 加速度計／ジャイロスコープ）において、統合性能にどのような差が生じるか？
• RQ5 R-Vineコーパラモデルは、エンドツーエンドのディープラーニングベースの統合ネットワークと比較して、必要な学習サンプル数を削減できるか？

主な発見

• R-Vineコーパラベースの統合手法は、STISENデータセットでF1スコア88.6%、ANGUITAデータセットで92.8%を達成し、単一モダリティのDNNや他の統合ベースラインを上回った。
• R-Vineコーパラモデルには1,200件の学習サンプルで十分であったのに対し、全結合統合層ベースラインでは6,000件のサンプルが必要だった。
• スマートフォンとウォッチの統合では最も高い性能向上が見られ、R-Vineモデルが強力なマルチモーダル依存関係を効果的に捉えていたことが示唆された。
• 第一レベルの依存構造から、加速度計からの特徴量h₃とジャイロスコープからの特徴量h₆が強く相関していることが判明し、これが主なマルチモーダル相互作用の原因であった。
• 混同行列の結果、スマートフォンとウォッチデータを統合した場合、静的行動（例：'Sit'、'Stand'）は完璧に分類された。加速度計とジャイロスコープの統合では、'Walking' や 'Laying' といった動的行動についても高い精度が得られた。
• R-Vineコーパラモデルは、全結合統合層のブラックボックス特性とは異なり、どの特徴量が最も依存しているかを明示的に可視化することで、解釈可能性を提供した。