[논문 리뷰] Recognizing Activities of Daily Living from Egocentric Images

Alejandro Cartas, Juan Marín외 2명|arXiv (Cornell University)|2017. 04. 13.

Context-Aware Activity Recognition Systems참고 문헌 8인용 수 4

한 줄 요약

이 논문은 사전 훈련된 합성곱 신경망(CNN)의 다수의 층에서 추출한 특징 맵을 랜덤 포레스트 분류기와 조합하는 새로운 앙상블 방법을 제안한다. 이는 저해상도의 이교적 이미지에서 활동 인식을 향상시키기 위한 것이다. 제안된 방법은 NTCIR-12 벤치마크에서 21개 클래스로 구성된 데이터셋에서 전체 정확도 86%를 달성하였으며, 완전 연결 층에서 유도된 전역 이미지 특징을 통합하여 기준 CNN보다 최대 8.07% 높은 성능을 기록하였다.

ABSTRACT

Recognizing Activities of Daily Living (ADLs) has a large number of health applications, such as characterize lifestyle for habit improvement, nursing and rehabilitation services. Wearable cameras can daily gather large amounts of image data that provide rich visual information about ADLs than using other wearable sensors. In this paper, we explore the classification of ADLs from images captured by low temporal resolution wearable camera (2fpm) by using a Convolutional Neural Networks (CNN) approach. We show that the classification accuracy of a CNN largely improves when its output is combined, through a random decision forest, with contextual information from a fully connected layer. The proposed method was tested on a subset of the NTCIR-12 egocentric dataset, consisting of 18,674 images and achieved an overall accuracy of 86% activity recognition on 21 classes.

연구 동기 및 목표

• 원시 CNN 예측을 초월한 맥락적 시각적 특징을 활용하여 이교적 이미지에서의 활동 인식을 향상시키기 위해.
• 다양한 일상 루틴을 가진 다수의 사용자 간에 활동 인식을 일반화하여 시간 또는 색상 기반 단서에 의존하지 않기 위해.
• 부족하게 표현된 클래스나 겹치는 활동 클래스(예: '마시기/혼자 먹기' 대비 '함께 먹기')에 대한 과적합을 줄이고 성능을 향상시키기 위해.
• 랜덤 포레스트에 입력으로 사용할 다수의 CNN 층(예: FC6, pool5/7x7, 소프트맥스)의 조합이 분류 성능 향상에 얼마나 효과적인지 탐색하기 위해.
• 이교적 라이프로그로 인한 클래스 내 변동성과 제한된 훈련 데이터에 강건한 방법을 개발하기 위해.

제안 방법

• 이 방법은 이교적 이미지에서 특징을 추출하기 위해 사전 훈련된 두 개의 CNN—AlexNet과 GoogLeNet—을 사용한다.
• 소프트맥스 확률 출력과 최종 완전 연결 층(FC6 또는 pool5/7x7)을 하나의 1,045차원 특징 벡터로 융합한다.
• 이 융합된 특징을 기반으로 500개의 트리를 가진 랜덤 포레스트 분류기를 훈련시켜 활동 클래스를 예측한다.
• 내부 CNN 특징을 맥락적 사전 지식으로 사용함으로써 시간 또는 색상 히스토GRAM에 의존하지 않는다.
• 이 방법은 NTCIR-12 데이터셋의 하위 집합(18,674장의 이미지, 21개의 활동 레이블)에서 평가된다.
• 다양한 CNN 층과 융합 전략에 대해 앙상블 성능를 비교하고, 최적의 정확도를 확보하기 위해 초모수를 조정한다.

실험 결과

연구 질문

• RQ1 소프트맥스 층 외에 다수의 CNN 층을 랜덤 포레스트와 융합하는 것이, 단일 소프트맥스 층만을 사용하는 것보다 이교적 이미지에서의 활동 인식 정확도를 향상시키는가?
• RQ2 내부 CNN 특징(예: FC6)을 맥락 정보로 사용할 경우, 전통적인 전역 이미지 특징(예: 색상 히스토GRAM)보다 다수 사용자 환경에서 성능이 뛰어나지 않는가?
• RQ3 제안된 앙상블 방법은 '마시기/혼자 먹기'와 '함께 먹기'와 같은 겹치는 활동 클래스에서 어떻게 성능을 내는가?
• RQ4 적은 데이터 환경(예: 훈련 샘플 수가 적은 '외부에서 산책하기' 클래스)에서 이 방법이 과적합을 얼마나 줄이는가?
• RQ5 사용자별 특화 조정 없이도 다양한 라이프스타일을 가진 사용자 간에 일반화 가능한가?

주요 결과

• 제안된 앙상블 방법은 21개 클래스로 구성된 NTCIR-12 이교적 이미지 데이터셋에서 전체 정확도 86%를 달성하였으며, 기준 CNN보다 뚜렷한 향상을 보였다.
• 가장 높은 성능를 보인 앙상블, GoogLeNet+RF on pool5/7x7+prob는 기준 CNN 대비 7.93%의 정확도 향상을 기록하였다.
• AlexNet+RF on FC6 앙상블은 기준 CNN 대비 8.07%의 향상을 기록하여 도전적인 클래스에서 뛰어난 성능를 입증하였다.
• 특히 '요리하기'와 '청소 및 잡일'과 같은 저빈도 클래스의 재현율이 크게 향상되었다.
• '마시기/혼자 먹기'와 '함께 먹기'와 같은 겹치는 클래스 간 혼동이 감소하여 더 나은 분류 성능를 보였다.
• 유일한 성능 저하가 발생한 클래스는 '자전거 타기'였으며, 이는 랜덤 포레스트의 정규화가 클래스 간 오류를 균형 있게 조정하기 때문일 것이다.