[논문 리뷰] Visual Summary of Egocentric Photostreams by Representative Keyframes

Marc Bolaños, Ricard Gavaldà외 3명|RECERCAT (Consorci de Serveis Universitaris de Catalunya)|2015. 05. 05.

Video Analysis and Summarization참고 문헌 12인용 수 6

한 줄 요약

이 논문은 CNN으로 추출한 시각적 특징과 응집형 군집화를 사용하여 이고세트릭 포토스트림의 이벤트를 분할하고, 무작위 보행 또는 최소 거리 알고리즘을 통해 대표 키프레임을 선택하는 비지도 키프레임 기반 요약 방법을 제안한다. 이 방법은 盲용 시료 테스트에서 높은 사용자 선호도를 보이며, 최고의 요약으로 58%의 표를 얻었고, 무작위 및 균일 기반 방법보다 유의미하게 뛰어나다.

ABSTRACT

Building a visual summary from an egocentric photostream captured by a lifelogging wearable camera is of high interest for different applications (e.g. memory reinforcement). In this paper, we propose a new summarization method based on keyframes selection that uses visual features extracted by means of a convolutional neural network. Our method applies an unsupervised clustering for dividing the photostreams into events, and finally extracts the most relevant keyframe for each event. We assess the results by applying a blind-taste test on a group of 20 people who assessed the quality of the summaries.

연구 동기 및 목표

• 경도 기억 장애(MCI) 환자의 기억 강화를 지원하기 위해 이고세트릭 포토스트림에 대한 자동 시각적 요약 방법을 개발하는 것.
• 낮은 시간 해상도의 라이프로그램 이미지에서 대표 키프레임을 사용하여 간결하고 정보적인 요약을 생성하는 것.
• 이벤트 분할 및 키프레임 선택에서 시간적 일관성과 시각적 대표성을 확보하는 것.
• 20명의 참가자들을 대상으로 한 맹시 테스트를 통해 요약 품질을 사용자 인식 기반으로 평가하는 것.
• 무작위 보행, 최소 거리 기반 방법과 무작위 기반 방법, 균일 샘플링 방법을 비교하여 키프레임 선택 전략의 성능을 평가하는 것.

제안 방법

• 사전 훈련된 컨volutional 신경망(CNN)을 사용하여 각 프레임의 전반적 시각적 서술자를 추출한다.
• CNN 특징에 대해 비지도 응집형 군집화를 적용하여 포토스트림을 시간적으로 일관된 이벤트로 분할한다.
• 분할 결과의 정밀도를 향상시키고 시간적 일관성을 확보하기 위해 Division-Fusion(DF) 전략을 적용한다.
• 무작위 보행 또는 최소 거리 알고리즘을 사용하여 각 이벤트의 대표 키프레임을 선택한다.
• 선택된 키프레임을 조합하여 최종 시각적 요약을 구성하며, 총 개수가 감지된 이벤트 수와 일치하도록 한다.
• 무작위 보행, 최소 거리, 무작위 기반 방법, 균일 샘플링의 네 가지 구성에 대해 빈도 테스트를 수행하여 요약 품질을 평가한다.

실험 결과

연구 질문

• RQ1 제안된 CNN 기반 특징 추출 및 군집화 접근법은 의미 있는 이벤트로 이고세트릭 포토스트림을 분할하는 데 얼마나 효과적인가?
• RQ2 사용자 판단에 따르면, 무작위 보행과 최소 거리 중 어느 키프레임 선택 전략이 더 대표적인 프레임을 생성하는가?
• RQ3 사용자 인식 기반 요약 품질 측면에서 제안된 방법은 무작위 및 균일 샘플링 기반 방법과 비교해 어떻게 성능을 발휘하는가?
• RQ4 사용자들은 생성된 요약이 하루 종일의 활동을 얼마나 잘 대표한다고 느끼는가?
• RQ5 이 방법은 MCI 환자의 기억 재구성 지원을 위한 시각적으로 일관되고 정보적인 요약을 생성할 수 있는가?

주요 결과

• 무작위 보행 및 최소 거리 키프레임 선택 전략은 무작위 기반 방법보다 사용자 평가에서 유의미하게 뛰어나며, 각각 88%와 86%의 요약이 하루를 대표한다고 평가되었다.
• 직접 비교에서 제안된 방법은 최고의 요약으로 58%의 표를 얻었으며, 무작위 기반 방법 대비 34% 향상되었고, 균일 샘플링 기반 방법 대비 41% 향상되었다.
• Division-Fusion(DF) 전략은 군집 품질을 향상시켰으며, DF를 사용하지 않은 경우 대비 평균 Jaccard 지수 12.5% 향상되었다.
• 사용자 간의 키프레임 대표성에 대한 높은 일치도를 보였으며, 85% 이상의 사용자가 선택된 키프레임이 이벤트를 잘 대표한다고 답했다.
• 두 키프레임 선택 방법(무작위 보행 및 최소 거리)은 대부분의 경우 동일한 프레임을 선택하여, 키프레임 선택의 강한 일관성을 보였다.
• 시각적 요약은 일관되게 정보적이고 시간적으로 일관된 것으로 평가되었으며, MCI 환자에게 기억 보조 도구로의 활용 가능성을 뒷받침했다.