[논문 리뷰] Fusion of Deep Neural Networks for Activity Recognition: A Regular Vine Copula Based Approach

Shan Zhang, Baocheng Geng외 2명|arXiv (Cornell University)|2019. 05. 07.

Context-Aware Activity Recognition Systems참고 문헌 30인용 수 5

한 줄 요약

이 논문은 다중 센서에서 얻은 고수준 특징을 심층 신경망(DNN)으로 추출한 후 정규 나무(R-Vine) 코퓰라 기반 융합 방법을 제안한다. 기존 융합 레이어와 비교해 비선형 상호의존성을 더 효과적으로 모델링함으로써, 더 적은 학습 샘플로도 높은 F1 스코어(88.6% 및 92.8%)를 달성하고, 특징 간 의존성의 해석 가능성도 향상시킨다.

ABSTRACT

In this paper, we propose regular vine copula based fusion of multiple deep neural network classifiers for the problem of multi-sensor based human activity recognition. We take the cross-modal dependence into account by employing regular vine copulas that are extremely flexible and powerful graphical models to characterize complex dependence among multiple modalities. Multiple deep neural networks are used to extract high-level features from multi-sensing modalities, with each deep neural network processing the data collected from a single sensor. The extracted high-level features are then combined using a regular vine copula model. Numerical experiments are conducted to demonstrate the effectiveness of our approach.

연구 동기 및 목표

• 다중 센서 인간 활동 인식(HAR)에서 비선형적이고 상호모달적인 의존성 문제를 해결하기 위해.
• 기존 융합 방법이 선형성 또는 독립적인 분류기 출력을 가정한다는 한계를 극복하기 위해.
• 심층 신경망을 통한 특징 추출과 R-Vine 코퓰라를 통한 복잡한 의존성 구조 모델링을 통해 분류 성능 향상시키기 위해.
• 엔드 투 엔드 딥 러닝 기반 융합 레이어에 비해 융합에 필요한 학습 샘플 수를 줄이기 위해.
• 모델의 해석 가능성을 향상시키기 위해 내부 및 상호모달 특징 간 의존성 구조를 명시적으로 모델링하고 시각화하기 위해.

제안 방법

• 가속도계, 자이로스코프, 스마트폰, 시계 등 개별 센서에서 수집된 데이터에 대해 독립적으로 다수의 심층 신경망(DNN)을 훈련시어 고수준 특징을 추출한다.
• DNN의 출력 결과—모달리티별 특징을 나타냄—을 R-Vine 코퓰라 모델의 입력으로 사용하여 다양한 모달리티 간의 복잡한 비선형 의존성을 포착한다.
• R-Vine 코퓰라 구조는 이元 코퓰라를 계층적으로 조합하여 고차원 의존성의 유연한 모델링을 가능하게 하는 쌍-코퓰라 구성의 계층적 구조로 구성된다.
• 모델 구축 과정은 최적의 R-Vine 트리 구조 선택, 코퓰라 매개변수(ϕ) 추정, 각 이원 쌍에 대한 최적의 코퓰라 가족(c*) 선택을 포함한다.
• 최종 융합 결정은 R-Vine 코퓰라가 모델링한 공동 확률 분포를 조합하여 확률적 분류를 수행함으로써 이루어진다.

실험 결과

연구 질문

• RQ1 R-Vine 코퓰라가 다중 센서 HAR에서 DNN로 추출된 특징 간의 비선형적이고 상호모달적인 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 기존 융합 방법(예: 완전 연결 레이어 또는 초기 융합)과 비교했을 때 R-Vine 코퓰라 기반 융합은 분류 정확도와 샘플 효율성 측면에서 어떻게 다른가?
• RQ3 제안된 방법이 모달리티 간 특징 수준의 의존성 구조를 드러내어 해석 가능성을 향상시키는가?
• RQ4 다양한 센서 모달리티(예: 스마트폰/시계 대비 가속도계/자이로스코프) 간 융합 성능는 어느 정도로 다양하게 나타나는가?
• RQ5 R-Vine 코퓰라 모델은 엔드 투 엔드 딥 러닝 융합 네트워크에 비해 필요한 학습 샘플 수를 줄일 수 있는가?

주요 결과

• R-Vine 코퓰라 기반 융합 방법은 STISEN 데이터셋에서 F1 스코어 88.6%와 ANGUITA 데이터셋에서 92.8%를 기록하여 단일 모달리티 DNN 및 다른 융합 기반 방법보다 뛰어난 성능을 보였다.
• R-Vine 코퓰라 모델은 단 1,200개의 학습 샘플로도 성능을 달성한 반면, 완전 연결 융합 레이어 기반 기준선은 6,000개의 샘플이 필요했다.
• 스마트폰과 시계 모달리티의 융합에서 가장 높은 성능 향상이 관찰되어, R-Vine 모델이 강력한 상호모달 의존성을 효과적으로 포착했음을 시사한다.
• 첫 번째 수준의 의존성 구조는 가속도계에서 유도된 특징 h₃와 자이로스코프에서 유도된 특징 h₆ 간에 높은 상관관계가 있음을 드러내어 주요 상호모달 상호작용의 원인이 되었다.
• 혼동 행렬 분석 결과, 스마트폰과 시계 데이터 융합 시 정적 활동(예: 'Sit', 'Stand')은 완벽한 분류 성능를 보였고, 가속도계와 자이로스코프 융합 시에도 '걷기'와 '누워서 있는 것'과 같은 동적 활동에 대해 높은 정확도를 기록했다.
• R-Vine 코퓰라 모델은 완전 연결 융합 레이어의 블랙박스 성향과는 달리, 어떤 특징이 가장 의존적인지 명시적으로 시각화함으로써 해석 가능성을 제공했다.