[논문 리뷰] Latent hypernet: Exploring all Layers from Convolutional Neural Networks

Artur Jordão, Ricardo Barbosa Kloss외 1명|arXiv (Cornell University)|2017. 11. 07.

Context-Aware Activity Recognition Systems참고 문헌 15인용 수 3

한 줄 요약

이 논문은 인간 활동 인식(HAR)을 위한 컨볼루션 신경망(ConvNets)의 성능을 향상시키기 위해, 모든 컨볼루션 레이어의 특징 맵을 부분 최소 제곱(PLS)을 통해 공유 잠재 공간으로 투영한 후 연결 및 분류하는 Latent HyperNet(LHN)을 제안한다. 이 방법은 추론 시간을 증가시키지 않으면서도 최신 기술 대비 최대 5.1%p의 정확도 향상을 이룬다.

ABSTRACT

Since Convolutional Neural Networks (ConvNets) are able to simultaneously learn features and classifiers to discriminate different categories of activities, recent works have employed ConvNets approaches to perform human activity recognition (HAR) based on wearable sensors, allowing the removal of expensive human work and expert knowledge. However, these approaches have their power of discrimination limited mainly by the large number of parameters that compose the network and the reduced number of samples available for training. Inspired by this, we propose an accurate and robust approach, referred to as Latent HyperNet (LHN). The LHN uses feature maps from early layers (hyper) and projects them, individually, onto a low dimensionality space (latent). Then, these latent features are concatenated and presented to a classifier. To demonstrate the robustness and accuracy of the LHN, we evaluate it using four different networks architectures in five publicly available HAR datasets based on wearable sensors, which vary in the sampling rate and number of activities. Our experiments demonstrate that the proposed LHN is able to produce rich information, improving the results regarding the original ConvNets. Furthermore, the method outperforms existing state-of-the-art methods.

연구 동기 및 목표

• 표준 ConvNets가 인간 활동 인식(HAR)에서 높은 파라미터 수와 작은 훈련 세트에 민감한 점을 해결하기 위해.
• ConvNets의 초기 레이어 특징이 깊이 있는 레이어 표현과 조합될 경우 분류 성능 향상에 기여할 수 있는 분류 정보를 포함하고 있는지 탐색하기 위해.
• 네트워크 아키텍처를 수정하거나 재학습하지 않고도 성능을 향상시킬 수 있는 경량이며 플러그 앤 플레이 형식의 방법을 개발하기 위해.
• 다양한 HAR 데이터셋(센서 구성과 활동 수가 상이함)에서 메서드의 강건성과 일반화 능력을 입증하기 위해.

제안 방법

• 사전 훈련된 ConvNet의 각 최대 풀링 레이어에서 특징 맵을 추출한다.
• 각 레이어의 특징 맵을 부분 최소 제곱(PLS)을 사용해 저차원의 잠재 공간으로 투영한다. PLS는 감독 기반 차원 축소 기법이다.
• 모든 레이어의 잠재 특징을 연결하여 하나의 표현으로 통합한다.
• 분류기는 연결된 잠재 특징으로 훈련되며, 원본 ConvNet 가중치는 동결된다.
• 이 방법은 아키텍처에 종속되지 않으며, 재학습이나 아키텍처 변경 없이도 어떤 ConvNet에나 적용 가능하다.
• 이 방법은 다양한 샘플링 레이트와 활동 클래스를 가진 다섯 개인 공개 HAR 데이터셋을 사용해 평가된다.

실험 결과

연구 질문

• RQ1 초기 레이어의 특징이 깊이 있는 레이어 표현과 조합될 경우, HAR에 대해 보완적인 분류 정보를 제공할 수 있는가?
• RQ2 모든 레이어의 특징을 공유 잠재 공간으로 투영하는 것이 최종 레이어만을 사용하는 것보다 정확도 향상에 기여하는가?
• RQ3 이러한 방법이 추론 시간에 계산 비용을 증가시키지 않고 성능 향상을 이룰 수 있는가?
• RQ4 다양한 데이터셋에서 LHN 방법이 최신 기술 기반의 ConvNet 기반 HAR 접근법과 비교해 어떻게 성능을 내는가?

주요 결과

• LHN 방법은 다섯 개인 HAR 데이터셋에서 기존 최신 기술 대비 평균 5.1%p의 정확도 향상을 이뤘다.
• USCHAD 데이터셋에서 LHN은 이전 최신 기술보다 5.1 p.p. 높은 정확도를 기록했으며, 인식률은 98.7%에 달했다.
• UTD-MHAD1 데이터셋에서 LHN은 활동 클래스 수가 많음에도 불구하고 이전 최고 성능 방법보다 5.3 p.p. 향상된 성능을 보였다.
• 원본 ConvNet과 동일한 통계적 예측 시간을 유지했으며, 추론 비용에 유의미한 증가가 없었다.
• LHN 없이도 제안된 ConvNet3 아키텍처는 더 큰 커널 크기가 장기간의 시간 패턴을 더 잘 포착할 수 있어 기존 문헌의 ConvNet 아키텍처보다 뛰어난 성능을 보였다.
• MHEALTH 데이터셋에서 최고 성능을 보였던 기준 모델(Ha와 Choi, 2017)에 LHN을 적용한 결과 정확도가 7.3 p.p. 향상되었으며, 이는 이전 최신 기술을 초월하는 성능이었다.