[논문 리뷰] Uncertainty Quantification for Deep Context-Aware Mobile Activity Recognition and Unknown Context Discovery

Zepeng Huo, Arash Pakbin외 7명|arXiv (Cornell University)|2020. 03. 03.

Context-Aware Activity Recognition Systems인용 수 7

한 줄 요약

이 논문은 최대 엔트로피 기반의 불확실성 정량화(UQ)를 사용하여 활동 인식과 맥락 탐색을 동시에 모델링하는 불확실성 정량화 및 맥락 인식 딥러닝 프레임워크인 α-β 네트워크를 제안한다. 군집 기반 사전 훈련과 UQ를 통합함으로써, 기준 데이터셋에서 정확도와 F1 점수를 각각 10% 향상시키고, 공개 및 내부의 노이즈가 있는 데이터셋에서 모두 알려지지 않은 맥락을 효과적으로 탐지하여 기준 모델을 능가한다.

ABSTRACT

Activity recognition in wearable computing faces two key challenges: i) activity characteristics may be context-dependent and change under different contexts or situations; ii) unknown contexts and activities may occur from time to time, requiring flexibility and adaptability of the algorithm. We develop a context-aware mixture of deep models termed the {\\alpha}-\\b{eta} network coupled with uncertainty quantification (UQ) based upon maximum entropy to enhance human activity recognition performance. We improve accuracy and F score by 10% by identifying high-level contexts in a data-driven way to guide model development. In order to ensure training stability, we have used a clustering-based pre-training in both public and in-house datasets, demonstrating improved accuracy through unknown context discovery.

연구 동기 및 목표

• 맥락 정의가 종종 불완전하거나 동적인 웨어러블 시스템에서 맥락에 의존하는 활동 인식의 과제를 해결하기 위해.
• 사전 정의된 맥락에 대한 제한을 극복하기 위해 추론 중에 데이터 기반으로 알려지지 않은 맥락을 탐지할 수 있도록 하기 위해.
• 예측 불확실성 정량화를 통해 실제 노이즈가 있는 환경에서 모델의 강인성과 일반화 능력을 향상시키기 위해.
• 군집 기반 사전 훈련을 통해 혼합 전문가 아키텍처에서 훈련 안정성과 모델 붕괴 방지를 보장하기 위해.
• 실제 센서 노이즈와 혼란스러운 운동 패tern이 존재하는 공개(UCI OPPORTUNITY) 및 내부 데이터셋에서 프레임워크의 유효성을 입증하기 위해.

제안 방법

• α-β 네트워크 아키텍처 제안: α 네트워크는 게이팅 메커니즘을 통해 맥락에 대한 분포를 출력하는 맥락 탐지기로 기능한다.
• β 네트워크는 각각 식별된 맥락에 맞는 활동 인식을 수행하며, 각 맥락에 대해 별도의 전문가 네트워크를 갖는다.
• 최대 엔트로피 학습(MEL)을 적용하여 모든 모델 파라미터의 불확실성 정량화를 수행함으로써, 높은 불확실성의 알려지지 않은 맥락을 탐지할 수 있도록 한다.
• 불확실성 정량화를 통합하여 불확실성이 임계값을 초과할 경우 예측을 기각함으로써 강인성을 향상시킨다.
• 공개 및 내부 데이터셋에서 군집 기반 사전 훈련을 통해 α 네트워크를 초기화함으로써 수렴성을 향상시키고 단일 전문가로의 붕괴를 방지한다.
• UQ를 활용하여 알려진 맥락과 알려지지 않은 맥락을 구분한다: 알려진 맥락은 예측 분포가 집중되어 있는 반면, 알려지지 않은 맥락은 평탄하고 불확실한 출력을 보인다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 사전 정의된 맥락 레이블에 의존하지 않고 맥락 인식 기반 활동 인식과 함께 알려지지 않은 맥락을 동시에 학습할 수 있는가?
• RQ2 최대 엔트로피 기반 불확실성 정량화는 알려지지 않은 또는 분포 외 맥락을 탐지하는 데 모델 강인성을 어떻게 향상시키는가?
• RQ3 군집 기반 사전 훈련은 α-β 네트워크 아키텍처에서 훈련 안정성과 모델 붕괴 방지에 얼마나 기여하는가?
• RQ4 기본 모델 대비 실제 노이즈가 있는 환경에서 제안된 프레임워크는 어떻게 성능을 발휘하는가?
• RQ5 불확실성 점수만으로 모델은 알려진 맥락과 알려지지 않은 맥락을 효과적으로 구분할 수 있는가?

주요 결과

• UCI OPPORTUNITY 데이터셋에서 UQ를 적용한 α-β 네트워크는 기준 모델 대비 활동 인식 정확도와 F1 점수를 각각 10% 향상시켰다.
• 사전 훈련은 정확도를 87%에서 96%로, F1을 0.87에서 0.96으로 향상시켜 모델 붕괴 방지에 핵심적인 역할을 한다는 것을 입증했다.
• 내부 데이터셋에서 α-β 네트워크는 84%의 정확도와 0.86의 F1 점수를 기록했으며, 더 높은 노이즈 수준에도 불구하고 기준 모델(80% 정확도, 0.80 F1 점수)을 능가했다.
• UQ를 통한 알려지지 않은 맥락 탐지가 신뢰성 있게 이루어진다: 그들의 예측 사후 분포는 평탄하고 퍼져 있으며, 알려진 맥락은 집중된 분포를 보인다.
• 두 맥락을 제거하고 알려지지 않은 것으로 간주했을 때도 모델은 여전히 이들을 높은 불확실성 사례로 정확히 식별하여, 새로운 맥락을 탐지할 수 있는 능력을 확인했다.
• 초기화가 열악할 경우 정규화만으로는 성능을 유지할 수 없음에도 불구하고, 사전 훈련은 정규화보다 훨씬 효과적으로 α-β 네트워크의 안정성을 확보한다.