[논문 리뷰] Cultural Event Recognition with Visual ConvNets and Temporal Models

Amaia Salvador, Matthias Zeppelzauer외 3명|arXiv (Cornell University)|2015. 04. 24.

Advanced Image and Video Retrieval Techniques참고 문헌 21인용 수 10

한 줄 요약

이 논문은 사전 훈련된 및 미세조정된 CaffeNet 레이어의 시각적 특징을 후기 융합하고 시간적 모델링을 통합하여 사진 속 문화행사 인식을 향상시키는 방법을 제안한다. 시간별 예측을 시간표 분포를 기반으로 보정함으로써, SVM 기반 예측에 시간적 보정을 적용한 결과, ChaLearn 2015 테스트 세트에서 평균 평균 정밀도(mAP)가 0.767에 도달하여 총 일곱 개의 제출 중 두 번째로 높은 순위를 기록하였다.

ABSTRACT

This paper presents our contribution to the ChaLearn Challenge 2015 on Cultural Event Classification. The challenge in this task is to automatically classify images from 50 different cultural events. Our solution is based on the combination of visual features extracted from convolutional neural networks with temporal information using a hierarchical classifier scheme. We extract visual features from the last three fully connected layers of both CaffeNet (pretrained with ImageNet) and our fine tuned version for the ChaLearn challenge. We propose a late fusion strategy that trains a separate low-level SVM on each of the extracted neural codes. The class predictions of the low-level SVMs form the input to a higher level SVM, which gives the final event scores. We achieve our best result by adding a temporal refinement step into our classification scheme, which is applied directly to the output of each low-level SVM. Our approach penalizes high classification scores based on visual features when their time stamp does not match well an event-specific temporal distribution learned from the training and validation data. Our system achieved the second best result in the ChaLearn Challenge 2015 on Cultural Event Classification with a mean average precision of 0.767 on the test set.

연구 동기 및 목표

• 희소한 의미적 메타데이터가 주어진 상황에서 시각적 및 시간적 신호를 활용하여 사진 속 문화행사 인식 문제를 해결하고자 한다.
• 깊이 학습된 시각적 특징이 문화적으로 의미 있는 행사들의 의미적 본질을 효과적으로 표현할 수 있는지 탐구하고자 한다.
• 사진의 타임스탬프에서 유도된 시간 패턴을 통합하여 분류의 강인성을 향상시키고자 한다.
• Flickr 이미지를 활용한 데이터 증강 기법이 모델의 일반화 능력에 미치는 영향을 평가하고자 한다.
• 다층 CNN 특징과 시간 제약 조건을 융합하는 계층적 분류 프레임워크를 개발하고자 한다.

제안 방법

• 사전 훈련된 및 미세조정된 CaffeNet 모델의 마지막 세 개의 완전연결층(FC6, FC7, FC8)에서 시각적 특징을 추출한다.
• 50개의 문화행사에 대해 각 신경 코드에 대해 선형 SVM을 별도로 훈련하고, 확률적 출력을 사용한다.
• 저수준의 SVM 예측 결과를 융합하여 고수준의 SVM을 통해 최종 행사 점수를 산출한다.
• 훈련/검증 데이터에서 이벤트별 시간 분포를 스퍼링 기반의 타임스탬프 모델링을 통해 학습한다.
• 학습된 이벤트별 시간 패턴에서 벗어나면 높은 신뢰도 예측에 대해 보정을 가함으로써 시간적 보정을 적용한다.
• 시간 유사도 점수가 높은 Flickr 이미지를 사용하여 훈련 데이터를 증강하지만, 이는 성능 저하를 초래하였다.

실험 결과

연구 질문

• RQ1 사전 훈련된 및 미세조정된 CNN에서 유도된 깊이 학습된 시각적 특징가 문화행사의 의미적 내용을 효과적으로 표현할 수 있는가?
• RQ2 풍부한 의미적 메타데이터가 없는 상황에서 시간적 메타데이터는 문화행사 인식 정확도에 어느 정도 기여하는가?
• RQ3 이러한 맥락에서 다층 CNN 특징의 후기 융합 전략은 단일 레이어 또는 조기 융합 전략보다 어떻게 비교되는가?
• RQ4 Flickr에서 웹 크롤링한 이미지를 활용한 데이터 증강 기법이 ChaLearn 데이터셋에서 모델의 일반화 능력을 향상시키는가?
• RQ5 스플라인 기반 시간 모델링은 시각 기반 예측을 효과적으로 보정하고 행사 분류의 노이즈를 줄일 수 있는가?

주요 결과

• 최고의 성능을 기록한 설정에서 ChaLearn 2015 테스트 세트에서 평균 평균 정밀도(mAP)가 0.767에 도달하여 총 일곱 개의 제출 중 두 번째로 높은 순위를 기록하였다.
• 시간적 보정은 일관되지만 보수적인 향상을 제공하였으며, 최종 시스템에서 mAP를 0.7357에서 0.767로 끌어올렸다.
• 미세조정된 CaffeNet 특징과 원본 특징을 함께 사용한 조합이(FC6-FC7-FC8) 미세조정된 특징만 사용한 경우보다 더 높은 성능을 기록하였다.
• 시간 유사도 점수가 높은 Flickr 기반 이미지를 추가한 결과, mAP가 0.5821에서 0.4547로 감소하여 데이터셋 간 도메인 차이가 존재함을 시사하였다.
• FC6 레이어만 사용했을 때도 시간적 보정을 적용한 결과, mAP가 0.6893로 가장 높았으며, FC7 및 FC8를 초월하였다.
• 연구 결과는 메타데이터가 희소하거나 신뢰할 수 없을지라도, 시각적 특징이 문화행사에 대해 강력한 구분 능력을 지닌다는 점을 강조한다.