[논문 리뷰] Fast forwarding Egocentric Videos by Listening and Watching

Vinicius S. Furlan, Růžena Bajcsy외 1명|arXiv (Cornell University)|2018. 06. 12.

Video Analysis and Summarization참고 문헌 8인용 수 6

한 줄 요약

이 논문은 청각적 요소인 소음 감도 지표와 시각적 특징(불안정성, 외관, 운동)을 결합하여 자기 중심 영상의 빠른 재생을 위한 새로운 방법을 제안한다. 이 방법은 대부분의 영상에서 10배 빠른 재생을 달성하면서 불쾌한 청각 요소를 줄였지만, 최신의 시각적 특징 중심 방법보다 약간 더 높은 불안정성을 보였다.

ABSTRACT

The remarkable technological advance in well-equipped wearable devices is pushing an increasing production of long first-person videos. However, since most of these videos have long and tedious parts, they are forgotten or never seen. Despite a large number of techniques proposed to fast-forward these videos by highlighting relevant moments, most of them are image based only. Most of these techniques disregard other relevant sensors present in the current devices such as high-definition microphones. In this work, we propose a new approach to fast-forward videos using psychoacoustic metrics extracted from the soundtrack. These metrics can be used to estimate the annoyance of a segment allowing our method to emphasize moments of sound pleasantness. The efficiency of our method is demonstrated through qualitative results and quantitative results as far as of speed-up and instability are concerned.

연구 동기 및 목표

• 기존의 시각적 특징에 의존하는 영상 빠른 재생 방법의 한계를 해결하기 위해 웨어러블 기기에서 얻는 풍부한 청각 정보를 간과하는 문제를 해결한다.
• 긴 자기 중심 영상에서 사용자 경험을 향상시키기 위해 큰 소리 나는 군중이나 고음압 환경과 같은 불쾌한 청각 요소를 피한다.
• 다중모달(청각-시각) 의미 점수를 통해 고속 영상 요약을 가능하게 하면서도 시간적 연속성을 유지하는 방법을 개발한다.
• 심리음향 지표가 불쾌한 청각 콘텐츠를 식별하고 억제하는 데 효과적으로 활용될 수 있음을 보여주어 영상 요약을 이끌 수 있음을 입증한다.

제안 방법

• 심리음향 특징의 개별 분석을 가능하게 하기 위해 자기 중심 영상의 음성을 3초 간격으로 분할한다.
• 소리의 강도, 날카움, 흐릿함을 사용하여 심리음향 불쾌도(PA) 지표를 계산하여 각 음성 세그먼트의 청각적 불쾌도를 추정한다.
• 프레임의 불안정성(확대 중심점 기반), 외관(색상 히스토그램의 지구 이동 거리), 운동(광학 흐름 크기) 등의 시각적 특징을 추출한다.
• PA 지표와 시각적 특징을 선형 점수로 통합하여 각 영상 세그먼트의 의미적 관련성을 할당한다.
• 통합된 의미 점수를 기반으로 영상 복합를 지도하여, 시간 흐름을 유지하고 높은 불쾌도 세그먼트를 피하는 하이퍼랩스 프레임을 선택한다.
• 최종 영상에 10배 빠른 재생 요소를 적용하며, 의미 점수에 따라 프레임 선택을 가중하여 쾌적하고 의미 있는 순간을 우선시한다.

실험 결과

연구 질문

• RQ1 시각적 방법에 비해 청각에서 유도된 심리음향 지표가 자기 중심 영상의 빠른 재생 품질을 향상시키는가?
• RQ2 소리 기반 불쾌도 추정을 통합할 경우 하이퍼랩스 영상의 청각적 쾌적함과 안정성에 어떤 영향을 미치는가?
• RQ3 청각적 특징을 통해 빠른 재생 영상에 포함되는 불쾌한 음성 세그먼트(예: 큰 소리 나는 군중)를 어느 정도 줄일 수 있는가?
• RQ4 빠른 재생 속도, 불안정성, 청각적 품질 측면에서 제안된 방법은 시각적 특징 중심 최신 기술과 비교해 어떤가?
• RQ5 다중모달(청각-시각) 접근법이 자기 중심 영상 요약에서 고속 재생과 낮은 청각적 불쾌도 사이의 균형을 어떻게 달성할 수 있는가?

주요 결과

• 제안된 방법은 11개 영상 세그먼트 중 10개에서 10배 빠른 재생을 달성했으며, MIFF 기준선과 동일하거나 이를 초월했다.
• 최종 하이퍼랩스의 평균 심리음향 불쾌도(PA) 점수는 22.2로, MIFF 방법의 23.2보다 낮아 불쾌한 청각 세그먼트가 더 적다는 것을 나타낸다.
• 제안된 방법의 불안정성 지수는 평균 38.9로, MIFF의 37.2보다 略로 높아 운동의 매끄러움에 약간의 희생이 있었음을 시사한다.
• 정성적 결과에서는 고PA 세그먼트(예: 큰 소리 나는 음악이나 군중)가 뚜렷이 감소했고, 저PA 세그먼트(예: 조용한 거리)는 낮은 속도로 유지되었다.
• 심리음향 지표를 활용하여 갑작스러운 큰 소리나 지속적인 배경 소음과 같은 고불쾌도 청각 콘텐츠를 성공적으로 피했으며,
• 청각과 시각적 특징의 조합은 시간적 안정성에 略로 희생을 감수하더라도 더 청각적으로 쾌적한 빠른 재생 영상을 가능하게 했다.