[논문 리뷰] CNN Retrieval based Unsupervised Metric Learning for Near-Duplicated Video Retrieval

Hao Cheng, Ping Wang외 1명|arXiv (Cornell University)|2021. 05. 30.

Advanced Image and Video Retrieval Techniques참고 문헌 13인용 수 4

한 줄 요약

이 논문은 사전 훈련된 네트워크의 중간 합성곱 층과 완전히 연결된 층에서 유도된 특징을 융합하는 CNN 기반의 비지도(metric) 학습 프레임워크를 제안한다. 비지도 학습과 k-최근접 이웃 기반 재정렬 전략을 활용하여 CC_WEB_VIDEO 데이터셋에서 SOTA mAP 0.9790을 달성한다.

ABSTRACT

As important data carriers, the drastically increasing number of multimedia videos often brings many duplicate and near-duplicate videos in the top results of search. Near-duplicate video retrieval (NDVR) can cluster and filter out the redundant contents. In this paper, the proposed NDVR approach extracts the frame-level video representation based on convolutional neural network (CNN) features from fully-connected layer and aggregated intermediate convolutional layers. Unsupervised metric learning is used for similarity measurement and feature matching. An efficient re-ranking algorithm combined with k-nearest neighborhood fuses the retrieval results from two levels of features and further improves the retrieval performance. Extensive experiments on the widely used CC\_WEB\_VIDEO dataset shows that the proposed approach exhibits superior performance over the state-of-the-art.

연구 동기 및 목표

• 고도로 재현되는 대규모 영상 데이터셋에서 근접 중복 영상 검색의 과제를 해결한다.
• 중간 합성곱 층에서 유도된 저수준 특징(LLF)과 완전히 연결된 층에서 유도된 고수준 특징(ULF)을 융합하여 영상 표현을 향상시킨다.
• 라벨이 없는 데이터를 요구하지 않고도 영상 간 유사도 측정을 향상시키기 위해 비지도 학습 프레임워크를 개발한다.
• k-최근접 이웃과 재작도 거리 기반의 효율적인 재정렬 알고리즘을 도입하여 두 특징 수준의 결과를 융합하고 검색 정확도를 향상시킨다.

제안 방법

• 마지막 완전히 연결된 층 출력에서의 프레임 간 차이를 이용해 关键 프레임을 추출한 후, 시간적 상관관계 기반의 정제를 통해 중복을 감소시킨다.
• 다중 수준 영상 특징을 추출한다: 중간 합성곱 층에서 유도된 저수준 특징(LLF)과 최종 완전히 연결된 층(fc7 또는 pool5 등)에서 유도된 고수준 특징(ULF).
• 희소 맥락적 활성화와 재작도 거리를 활용한 비지도 학습을 통해 쿼리 영상와 후보 영상 간의 유사도를 계산한다.
• 각 쿼리 영상에 대해 두 개의 희소 맥락적 활성화 벡터를 구성한다: 양성 집합을 위한 MIN(F_q^fc, F_q^conv), 음성 집합을 위한 MAX(F_q^fc, F_q^conv).
• 고차원 특징 공간에서의 빠른 k-최근접 이웃 검색을 위해 수정된 무작위 투영된 kd-트리를 사용한다.
• LLF와 ULF에서 유도된 k-NN 결과 위에 재작도 거리를 기반으로 한 랭크 융합을 수행하여 최종 검색 순서를 향상시킨다.

실험 결과

연구 질문

• RQ1 사전 훈련된 CNN의 다수 수준에서 특징을 융합하는 것이 단일 수준 특징 사용에 비해 근접 중복 영상 검색 성능을 향상시키는가?
• RQ2 라벨이 없는 데이터를 사용할 때도 희소 맥락적 활성화와 재작도 거리를 활용한 비지도 학습이 영상 유사도 측정에 얼마나 효과적인가?
• RQ3 k-최근접 이웃 융합 기반의 제안된 재정렬 전략이 기준 방법에 비해 검색 정확도를 얼마나 향상시키는가?
• RQ4 CC_WEB_VIDEO 벤치마크에서 제안된 방법은 mAP와 정밀도-재현율 성능 측면에서 기존 SOTA NDVR 접근법과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 CNN-UML 방법은 CC_WEB_VIDEO 데이터셋에서 평균 평균 정밀도(mAP) 0.9790을 달성하여 비교된 모든 SOTA 방법을 능가한다.
• GoogLeNet 기반 특징과 랭크 융합(RankF)이 가장 높은 mAP(0.9790)를 기록하여 다중 수준 특징 융합의 효과를 입증한다.
• 모든 CNN 아키텍처에서 중간 층에서 유도된 저수준 특징(LLF)이 완전히 연결된 층에서 유도된 고수준 특징(ULF)보다 略로 뛰어나다.
• k-최근접 이웃과 재작도 거리 기반의 재정렬 전략은 특히 LLF와 ULF 표현을 융합할 경우 검색 성능 향상에 뚜렷한 기여를 한다.
• 이전 방법들과 달리 복잡한 훈련이나 코드북 생성이 필요 없이도 뛰어난 성능을 달성한다.
• 정밀도-재현율 곡선 분석을 통해 제안된 방법은 다양한 재현율 수준에서도 높은 정밀도를 유지함으로써 강력하고 일관된 검색 성능을 보여준다.