[논문 리뷰] Privacy-Preserving Human Activity Recognition from Extreme Low Resolution

Michael S. Ryoo, Brandon Rothrock외 2명|arXiv (Cornell University)|2016. 04. 12.

Advanced Image Processing Techniques인용 수 59

한 줄 요약

이 논문은 극도로 저해상도(16x12) 영상에서 인간 활동 인식을 정확하게 수행하면서도 프라이버시를 유지할 수 있도록 역 슈퍼 해상도(ISSR)를 제안한다. 고해상도 원천 영상에서 다양한 저해상도 학습 영상을 생성하도록 최적의 서브픽셀 변환을 학습함으로써, ISR는 분류기가 최신 기술 수준의 성능을 달성하도록 한다—16x12 JPL-Interaction 데이터에서 96.4%의 정확도를 기록하며, 프라이버시를 보장하는 시각 처리가 정확도를 희생하지 않고도 가능하다는 것을 입증한다.

ABSTRACT

Privacy protection from surreptitious video recordings is an important societal challenge. We desire a computer vision system (e.g., a robot) that can recognize human activities and assist our daily life, yet ensure that it is not recording video that may invade our privacy. This paper presents a fundamental approach to address such contradicting objectives: human activity recognition while only using extreme low-resolution (e.g., 16x12) anonymized videos. We introduce the paradigm of inverse super resolution (ISR), the concept of learning the optimal set of image transformations to generate multiple low-resolution (LR) training videos from a single video. Our ISR learns different types of sub-pixel transformations optimized for the activity classification, allowing the classifier to best take advantage of existing high-resolution videos (e.g., YouTube videos) by creating multiple LR training videos tailored for the problem. We experimentally confirm that the paradigm of inverse super resolution is able to benefit activity recognition from extreme low-resolution videos.

연구 동기 및 목표

• 활동 인식을 위해 세밀한 영상 이해가 필요함에도 불구하고 고해상도 기록으로 인한 프라이버시 보호 간의 모순을 해결하기 위해.
• 극도로 저해상도(예: 16x12) 영상만 촬영하는 하드웨어 수준의 프라이버시 보장 시각 시스템을 개발하기 위해.
• 서브픽셀 시점 변화로 인한 저해상도 영상 인식의 결정 경계 불안정성을 완화하기 위해.
• 수집 후 고해상도 학습 데이터에 의존하지 않고도 익명화된 저해상도 영상 데이터만으로 신뢰할 수 있는 활동 인식을 가능하게 하기 위해.
• 16x12 영상에서 얼굴 복구가 불가능함을 입증함으로써, 이러한 시스템이 진정으로 프라이버시를 보장하는지 검증하기 위해.

제안 방법

• 단일 고해상도 영상에서 다수의 정보적인 저해상도 학습 영상을 생성하도록 학습하는 역 슈퍼 해상도(ISSR)를 도입한다.
• 활동 분류에 최적화된 서브픽셀 변환을 최적화하여, 생성된 저해상도 영상이 분류에 유용한 운동 및 외관 특징을 유지하도록 한다.
• 유튜브 등의 고해상도 영상(예: YouTube)을 원천 데이터로 사용하여 실제 저해상도 테스트 조건을 모의하는 다양한 저해상도 학습 샘플을 합성한다.
• 학습된 변환을 통해 데이터 증강을 적용하여 시점 변화를 시뮬레이션하고, 저해상도 특징 공간에서의 결정 경계를 안정화시킨다.
• 딥 러닝 프레임워크를 사용해 ISR 네트워크를 엔드 투 엔드로 훈련시켜, 후속 분류기 성능을 극대화하는 저해상도 영상을 생성하도록 한다.
• 기존의 특징 추출기(예: HOG, HOF)와 분류기를 결합하여, 극도로 낮은 해상도 조건에서도 표준 데이터셋에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 16x12 영상만을 사용하면서도 프라이버시를 보장하는 조건에서 인간 활동 인식을 신뢰성 있게 수행할 수 있는가?
• RQ2 서브픽셀 시점 이동으로 인한 저해상도 특징의 내재적 불안정성을 지능적인 데이터 증강을 통해 완화할 수 있는가?
• RQ3 고해상도 원천 영상에서부터 고품질이고 다양한 저해상도 학습 데이터를 생성할 수 있는가? 이로 인해 분류기가 실제 저해상도 테스트 데이터에 잘 일반화되는가?
• RQ4 이러한 시스템에서 프라이버시는 어느 정도 보장될 수 있는가? 특히 16x12 영상에서 얼굴 인식이 가능한가?
• RQ5 기본 방법이 더 높은 해상도가 필요로 하는 상황에서도 16x12 영상만으로 최신 기술 수준의 인식 성능를 달성할 수 있는가?

주요 결과

• 제안된 ISR 방법은 16x12 JPL-Interaction 데이터셋에서 96.4%의 정확도를 기록하여, 이전에 더 높은 해상도(320x240) 영상을 사용한 방법들을 능가했다.
• 16x12 영상에서 인간의 형체가 몇 픽셀로 축소된 상태에서도, 표준 HOF/HOG(20.0%) 및 ActionBank(26.9%) 분류기보다 뛰어난 성능을 달성했다.
• 16x12 JPL-Interaction 데이터에서 PoT 특징만을 사용할 경우 74.5%의 정확도를 기록했고, ISR를 결합한 경우 96.4%의 정확도를 달성하여, 제안된 데이터 생성 전략의 효과를 입증했다.
• 16x12 영상에서 얼굴 복구가 불가능한 것으로 밝혀졌다: 최신 기술 수준의 딥 러닝 기반 강화 기법을 사용해도 의미 있는 얼굴 특징이 복구되지 않았으며, 5x7 크기의 얼굴에서의 얼굴 인식 정확도는 50% 이하일 것으로 예상되었다.
• 사용자 연구 및 시각적 분석 결과, 16x12 영상가 매우 익명화되어 있어 프라이버시 민감도가 크게 감소하였으며, 재구성 공격에 저항성이 있음을 확인했다.