[논문 리뷰] Ego-Object Discovery

Marc Bolaños, Petia Radeva|arXiv (Cornell University)|2015. 04. 07.

Video Surveillance and Tracking Methods참고 문헌 21인용 수 9

한 줄 요약

이 논문은 사전 훈련된 컨volutional 신경망(CNN) 특징, 새로운 객체 재충전 전략, SVM 필터링을 활용하여 제1인칭 카메라 데이터에 대한 준지도 학습적 일기 객체 탐지 방법을 제안한다. 이는 PASCAL VOC 2012, MSRC, 그리고 새로운 일기형 데이터셋(EDUB)에서 최신 기술 수준(SOTA) 성능을 달성하며, 실제 라이프로깅 시나리오에서 희귀하거나 시야가 제한된 객체를 탐지하는 데 이전 방법들보다 뚜렷하게 뛰어난 성능을 보인다.

ABSTRACT

Lifelogging devices are spreading faster everyday. This growth can represent great benefits to develop methods for extraction of meaningful information about the user wearing the device and his/her environment. In this paper, we propose a semi-supervised strategy for easily discovering objects relevant to the person wearing a first-person camera. Given an egocentric video/images sequence acquired by the camera, our algorithm uses both the appearance extracted by means of a convolutional neural network and an object refill methodology that allows to discover objects even in case of small amount of object appearance in the collection of images. An SVM filtering strategy is applied to deal with the great part of the False Positive object candidates found by most of the state of the art object detectors. We validate our method on a new egocentric dataset of 4912 daily images acquired by 4 persons as well as on both PASCAL 2012 and MSRC datasets. We obtain for all of them results that largely outperform the state of the art approach. We make public both the EDUB dataset and the algorithm code.

연구 동기 및 목표

• 제1인칭 라이프로깅 데이터에서 자주 등장하지만, 시각적으로 다양하고 부분적으로 가림을 받는 객체를 탐지하는 과제를 해결한다.
• 비의도적이고 저해상도의 일기형 이미지에서 전통적인 객체 존재 감지기들이 높은 거짓 양성률('No Object' 후보)을 생성하는 데서 비롯되는 한계를 극복한다.
• 딥 레이어 특징과 재충전 메커니즘을 통한 반복적 개선을 활용하여 희귀하거나 시야가 제한된 객체 클래스의 탐지 성능을 향상시킨다.
• 최소한의 인간 레이블링으로도 다양한 일기형 환경에 일반화 가능한 강력한 준지도 학습 프레임워크를 개발한다.
• 실제로 노이즈가 많고 흐릿한 일기형 이미지 시퀀스에서 사용자에게 의미 있는, 관련성이 높은 객체를 탐지할 수 있도록 한다.

제안 방법

• VGG 유사 아키텍처에서 유도된 사전 훈련된 딥 CNN 특징을 활용하여 객체 후보에 대한 풍부한 고수준 외관 표현을 추출한다.
• 이전에 탐지된 클래스의 특징을 재사용하여 시야가 제한되거나 부분적으로 가려진 객체 인스턴스를 복구하고 재평가하는 새로운 '재충전(refill)' 전략을 적용한다.
• 객체 존재 감지기에서 유도된 거짓 양성 'No Object' 후보를 줄이기 위해 일종의 SVM 분류기를 사용하여 후보 풀의 노이즈를 감소시킨다.
• 반복적 탐지 파이프라인을 구현한다: (1) 객체 존재 후보 추출, (2) SVM로 필터링, (3) 상위 후보 군집화, (4) 최상의 군집을 새로운 객체로 레이블링, (5) 더 어려운 인스턴스를 탐지하기 위해 특징 재충전.
• 초기 객체 탐지가 쉽게 식별 가능한 인스턴스에 의해 이끌리고, 이후로 더 어려운, 빈도가 낮은 클래스에 대한 점진적 개선을 수행하는 준지도 학습 접근법을 사용한다.
• 저수준의 이미지 특징(예: 색상, 무늬)은 비교를 위한 기준선으로만 통합하며, 핵심 방법론은 뛰어난 표현력을 제공하는 딥 CNN 특징에 기반한다.

실험 결과

연구 질문

• RQ1 기존의 저수준 특징에 비해 딥 CNN 특징이 일기형 라이프로깅 데이터에서 객체 탐지 성능을 어떻게 크게 향상시킬 수 있는가?
• RQ2 제안된 재충전 전략이 비의도적, 흐릿하고 가려진 일기형 이미지에서 희귀하거나 시야가 제한된 객체 인스턴스 탐지에 얼마나 기여하는가?
• RQ3 객체 존재 감지기에서 발생하는 거짓 양성 'No Object' 후보를 줄이기 위해 SVM 필터링이 얼마나 효과적인가?
• RQ4 CNN 특징, 재충전, SVM 필터링의 조합이 일기형, PASCAL VOC 2012, MSRC를 포함한 다양한 데이터셋에서 최신 기술 수준(SOTA) 방법보다 더 높은 F-측정치와 탐지 커버리지 성능을 달성하는가?
• RQ5 실제 이미지 품질 저하 상황에서 내부 다양성이 높은 클래스(예: 손, 사람)를 탐지하는 데 이 방법이 얼마나 잘 작동하는가?

주요 결과

• 기본 방법에 비해 Grauman의 특징을 사용할 경우, SVM 필터링 이후 'No Object' 후보 비율이 96%에서 49%로 감소하여 92.75% 감소를 달성했다.
• 4명의 사용자로부터 수집한 4912장의 일기형 이미지로 구성된 EDUB 데이터셋에서, 이 방법은 지표에 해당하는 고유 객체 인스턴스의 16%를 탐지했으며, 기준선(S1)은 단지 6~7%만 탐지했다.
• PASCAL VOC 2012, MSRC, 그리고 새로운 EDUB 데이터셋에서 최신 기술 수준(SOTA)의 F-측정치 성능을 달성했으며, Lee 등(2011) 및 Kading 등(2015)을 포함한 이전 방법들보다 뚜렷하게 뛰어난 성능을 보였다.
• CNN 특징과 재충전 전략의 조합은 기존 방법이 자주 놓치는 희귀하거나 시각적으로 다양성이 높은 클래스(예: 손, 사람)의 탐지가 가능하게 했다.
• 이 방법은 매우 흐릿하고 노이즈가 많은 일기형 이미지에서도 뛰어난 성능을 유지하여, 라이프로깅 데이터에서 흔히 발생하는 이미지 품질 저하에 대해 뛰어난 내구성을 보였다.
• 반복적 탐지 과정은 어려움의 정도에 따라 객체 클래스를 탐지하는 데 성공했으며, 초기 반복에서는 빈도가 높은 객체를 탐지하고, 후속 반복에서는 희귀하거나 부분적으로 보이지 않는 인스턴스를 탐지했다.