[논문 리뷰] Recognizing Activities of Daily Living with a Wrist-mounted Camera

Katsunori Ohnishi, Atsushi Kanehira외 2명|arXiv (Cornell University)|2015. 11. 20.

Human Pose and Action Recognition참고 문헌 27인용 수 7

한 줄 요약

이 논문은 첫인성 활동 인식을 위해 손목에 장착된 카메라를 사용함으로써 처리 중인 물체를 대규모로 캡처하고, 물체 검출이 필요 없도록 하는 방법을 제안한다. 새로운 공개 데이터셋에서 시계열 및 공간 정보를 유지하는 분류적 비디오 표현(DSTAR)을 도입하여 머리에 장착된 카메라 대비 평균 정확도 28.1% 향상시켰다. 이 데이터셋은 손목 및 머리에 장착된 카메라의 동기화된 영상 데이터를 포함한다.

ABSTRACT

We present a novel dataset and a novel algorithm for recognizing activities of daily living (ADL) from a first-person wearable camera. Handled objects are crucially important for egocentric ADL recognition. For specific examination of objects related to users' actions separately from other objects in an environment, many previous works have addressed the detection of handled objects in images captured from head-mounted and chest-mounted cameras. Nevertheless, detecting handled objects is not always easy because they tend to appear small in images. They can be occluded by a user's body. As described herein, we mount a camera on a user's wrist. A wrist-mounted camera can capture handled objects at a large scale, and thus it enables us to skip object detection process. To compare a wrist-mounted camera and a head-mounted camera, we also develop a novel and publicly available dataset that includes videos and annotations of daily activities captured simultaneously by both cameras. Additionally, we propose a discriminative video representation that retains spatial and temporal information after encoding frame descriptors extracted by Convolutional Neural Networks (CNN).

연구 동기 및 목표

• 가상의 카메라를 통해 일상생활 활동(ADL)을 인식하는 데 있어 웨어러블 카메라를 활용하는 도전 과제를 해결하기 위해.
• 머리에 장착된 카메라나 가슴에 장착된 카메라의 한계, 즉 물체 캡처 범위가 작고 물체 검출에 의존하는 문제를 해결하기 위해.
• 비교 분석을 위한 손목에 장착된 카메라와 머리에 장착된 카메라의 동기화된 영상 데이터를 포함한 새로운 데이터셋을 개발하기 위해.
• 첫인성 환경에서의 인식 성능 향상을 위해 공간적 및 시간적 정보를 유지하는 비디오 표현을 제안하기 위해.
• 경계 상자 레이블이 필요 없이도 손목에 장착된 카메라가 머리에 장착된 카메라보다 ADL 인식 정확도에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• 사용자의 주로 사용하는 손목에 카메라를 장착하여 처리 중인 물체를 대규모로 캡처하고, 가림을 줄이며 시야를 향상시키기 위해.
• 손목에 장착된 카메라와 머리에 장착된 카메라의 동기화된 영상 및 활동 레이블을 포함한 새로운 공개 데이터셋을 개발하기 위해.
• 학습 가능한 가중치를 사용하는 공간적 및 시간적 피라미드를 통해 CNN 특징을 인코딩하는 분류적 비디오 표현(DSTAR)을 제안하기 위해.
• 공간적 및 시간적 가중치를 번갈아 가며 반복 최적화하여 영상 내에서 분류적 영역과 시간 세그먼트를 강조하기 위해.
• 이중 스트림 방식을 사용: 손목에 장착된 데이터에 DSTAR를 적용하고 머리에 장착된 데이터에 iDT를 적용하여 상보적인 특징을 조합하기 위해.
• 다양한 공간적 및 시간적 수준의 특징을 후기 융합하는 방식으로, 시간 세그먼트 기반 분류를 사용해 모델을 훈련 및 평가하기 위해.

실험 결과

연구 질문

• RQ1 손목에 장착된 카메라가 머리에 장착된 카메라에 비해 일상생활 활동(ADL) 인식 정확도를 크게 향상시킬 수 있는가?
• RQ2 첫인성 환경에서 공간적 및 시간적 정보를 유지하는 비디오 표현이 기존의 비디오 인코딩 방법보다 우수한 성능을 보일 수 있는가?
• RQ3 손목에 장착된 카메라를 사용할 경우, 일상생활 활동 인식에서 물체 검출을 얼마나 효과적으로 회피할 수 있는가?
• RQ4 손목에 장착된 카메라 영상의 공간적 및 시간적 편향이 인식 성능 및 모델 설계에 어떤 영향을 미치는가?
• RQ5 손목에 장착된 카메라와 머리에 장착된 카메라의 데이터를 융합하면 인식 정확도가 추가로 향상될 수 있는가?

주요 결과

• 손목에 장착된 카메라는 23개의 ADL 클래스 중 18개에서 머리에 장착된 카메라 대비 평균 정확도 28.1% 향상시켰다.
• DSTAR 방법은 손목에 장착된 카메라 데이터에 적용했을 때 기준 모델인 LCD에 비해 평균 10.1% 정확도 향상을 보였다.
• '청소하기' 클래스에서 DSTAR가 가장 뚜렷한 향상을 보였으며, 이는 배경 특징의 효과적인 억제를 의미한다.
• '접시 닦기' 클래스는 손목에 장착된 카메라에서 성능 저하가 가장 컸다(18.5% 감소), 주로 '세제로 세척하기'와의 혼동 때문이었다.
• 손목에 장착된 데이터에 DSTAR를, 머리에 장착된 데이터에 iDT를 적용한 후 융합하면 14개의 클래스에서 정확도가 향상되었고, 평균 10.4% 향상되었다.
• DSTAR 가중치의 시각적 분석 결과, 이미지 중심부 쪽으로 강한 공간적 편향이 있으며, 시간적 편향은 약간으로 확인되었고, 초기 및 후기 행동 단계가 略로 더 분류적 특징을 가짐을 확인했다.